Para el INEE el propsito fundamental de la evaluacin del aprendizaje es proporcionar un conocimiento general del rendimiento acadmico de los estudiantes

a niveles estatal y nacional, as como de los factores ms importantes que influyen en ste. A fin de lograr este objetivo, el INEE plante la necesidad de contar con instrumentos tericos y tcnicamente slidos; idea que se consolid con el desarrollo de una nueva generacin de pruebas nacionales denominadas Exmenes de la Calidad y el Logro Educativo (Excale)-, mismas que se utilizaron por primera ocasin en junio de 2005.

Qu son los Excale?

Son pruebas de aprendizaje de gran escala que miden el logro escolar de los estudiantes de educacin bsica, se consideran que son: criteriales, alineados al currculo y son matriciales, se aplican cada 4 aos a 3o. de preescolar, 3o. y 6o. de primaria y a 3o. de secundaria . Los Los principales propsitos son; conocer que saben los estudiantes mexicanos durante la educacin bsica, reconocer las fortalezas y debilidades del Sistema Educativo Nacional, comparar logros por modalidad, entidad y sexo, analizar cambios en el tiempo e informar a la sociedad sobre el logro acadmico de los alumnos. Estas pruebas evalan conocimientos, habilidades sociales, contextos econmicos y sociales, en los que se encuentran relacionados los estudiantes mexicanos

Porqu son Criteriales?

porque se disean para evaluar el dominio que tienen los estudiantes de una disciplina en particular. Su inters central es conocer el nivel de logro que alcanzan los estudiantes como resultado de su escolarizacin formal. Cada contenido temtico se evala a profundidad, procurando incluir todos los conocimientos y habilidades de importancia para la disciplina y grado escolar.

Porqu Alineados al currculo?

porque su propsito es evaluar los aprendizajes pretendidos por los planes y programas de estudio nacionales. El hecho de contar en Mxico con un currculo nacional para la educacin bsica, libros de textos gratuitos y una formacin magisterial bastante uniforme, facilita identificar lo que aprenden los estudiantes en relacin con lo que se espera de ellos.

Porqu Matricial?
Puesto que los Excale pretenden evaluar todos los contenidos curriculares importantes, tienen un diseo matricial en el cual los reactivos que conforman una prueba se agrupan en bloques para ser distribuidos entre los alumnos; no todos contestan las mismas preguntas, pero con las repuestas de todos se obtienen resultados del examen en su conjunto. En este tipo de pruebas, la calificacin individual del estudiante no es tan importante como los resultados agregados a nivel de entidad federativa y modalidad educativa, dado que lo que se busca es evaluar al sistema educativo en su conjunto.

Los resultados de Excale deben permitir:

a) construir una visin general de lo que los estudiantes aprenden como resultado de su escolarizacin formal.
b) Conocer los puntos fuertes y dbiles del currculo nacional, atendiendo variables como grado y asignatura, modalidad educativa, gnero y estrato social. c) Establecer comparaciones del rendimiento escolar, as como de las tendencias de aprendizaje a lo largo del tiempo entre diversos grupos de alumnos y reas temticas; y d) mejorar la evaluacin a gran escala de las disciplinas evaluadas.

Niveles, grados y asignaturas que evalan los Excale

Las asignaturas propiamente instrumentales, tales como Matemticas y Espaol, adems de aquellas que cubren grandes reas curriculares relacionadas con Ciencias Naturales y Ciencias Sociales, realizando en cada caso la seleccin de contenidos conforme el currculo nacional y el grado escolar a evaluar.

Niveles, grados y asignaturas que evalan los Excale

NIVEL Preescolar GRADO 3 Pensamiento matemtico Espaol Matemticas Primaria 3 y 6 Ciencias Naturales Ciencias Sociales Espaol Matemticas Secundaria 3 Ciencias Naturales Ciencias Sociales ASIGNATURAS Lenguaje y comunicacin

A quin se aplican los Excale?

Se aplican a muestras representativas de estudiantes de escuelas pblicas y privadas, de educacin bsica de todo el pas. El nmero de estudiantes vara de acuerdo con el estado, el grado a evaluar y la modalidad educativa de que se trate. En 2005 se aplicaron ms de 47 mil pruebas a estudiantes de sexto de primaria en 2 mil 770 escuelas y a 52 mil 251 alumnos de tercero de secundaria en 2 mil 397 escuelas. En 2006, la prueba se aplic a casi 55 mil alumnos de tercero de primaria en un poco mas 3 mil escuelas mientras que en 2007 se aplicaron a ms de 10 mil pruebas a estudiantes de tercer ao de preescolar en aproximadamente mil 100 escuelas y a alrededor de 13 mil estudiantes de sexto de primaria en ms de 700 planteles educativos. En 2008, la evaluacin de tercer grado de secundaria abarc a ms de 100 mil estudiantes de aproximadamente 4 mil escuelas. Aunque el porcentaje de estudiantes evaluados en cada grado es pequeo, las estimaciones que hace el INEE son bastante precisas y confiables. Cada escuela tiene la misma

A quin se aplican los Excale?

probabilidad de ser seleccionada en la muestra; asimismo, al interior de cada escuela y grado escolar, todos los estudiantes tienen la misma probabilidad de ser seleccionados para responder la prueba. Las evaluaciones que realiza el INEE no son voluntarias: todas las escuelas y alumnos del pas tienen la obligacin de participar en las evaluaciones de gran escala que se r realizan ao con ao. .

Importancia de la evaluacin
Para el INEE los resultados de la evaluacin del aprendizaje tienen sentido en la medida que impacten positivamente en los diferentes mbitos o esferas educativas, entre otras: 1) las polticas educativas nacionales y estatales; 2) el currculo nacional, los programas de estudio y los libros de texto; 3) las prcticas pedaggicas; 4) la administracin y gestin escolares; 5) la formacin y actualizacin docente; y 6) la opinin de especialistas y de la sociedad en general.

Para lograr dicho impacto, el INEE ha definido que la evaluacin que realice debe partir de las siguientes premisas: a) Ser considerada como una evaluacin externa del Sistema Educativo Nacional. b) Ser de alta calidad y estar apegada a normas y prcticas reconocidas internacionalmente. c) c) Proporcionar informacin vlida y confiable con respecto a los d) resultados de aprendizaje que logran los estudiantes en Mxico. d) Asegurar el respeto por la equidad de gnero y de grupos tnicos. e) Ser realizada de manera clara y transparente, mediante la participacin colegiada de docentes especialistas. f) Estar legitimada acadmica y socialmente. g) Proporcionar elementos que ayuden a mejorar L a calidad del sistema educativo del pas.

Cmo se elaboran los Excale?

Cada prueba Excale se elabora con mucho tiempo de anticipacin; su realizacin abarca diferentes etapas, en cada una de las cuales participa no slo el personal tcnico del INEE, sino grupos de profesionales, expertos en currculo, profesores en s servicio, autores de libros, entre otros, quienes conforman distintos comits. Las labores de estos comits abarcan diversas tareas: analizar el currculo y seleccionar los contenidos que se evaluarn; definir las caractersticas de los reactivos que conformarn la prueba; formular, revisar y pilotear las preguntas as como ensayar las condiciones reales de aplicacin de los Excale.

Cada cuanto se aplican los Excale?

El plan de evaluacin de los Excale se basa en un programa cuatrianual; es decir, un mismo grado se evaluar cada cuatro aos, tal como se muestra en la siguiente tabla.
AOS ESCOLARES. GRADOS 3 Preescolar E, M 3 Primaria N, S E, M 6 Primaria E, M E,M N, S E, M 3 Secundaria E, M N, S E,M N, S E, M E,M N, S E,M N, S E, M N, S E, M E,M N, S 2005
Nota: L = Excale-Lenguaje y Comunicacin; P = Excale-Pensamiento Matemtico; Excale-Espaol; M = ExcaleMatemticas; N = Excale-Ciencias Naturales; S = Excale-Ciencias Sociales. El sombreado indica muestras nacionales sin representatividad estatal.

2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 L, P E, M L, P E, M L, P

Cada cuanto se aplican los Excale?

Este plan ofrece la posibilidad de evaluar los aprendizajes de los estudiantes del Sistema Educativo Nacional tanto transversal como longitudinalmente ya que, por ejemplo, si en 2006 se evalu a los alumnos de tercero de primaria, tres aos ms tarde, cuando tericamente estn cursando sexto, sern sujetos de una nueva evaluacin y tres aos despus, en 2012, participarn en la evaluacin de tercero de secundaria. Es cierto que no necesariamente estarn siendo evaluados exactamente los mismos alumnos, sin embargo, hay que recordar que el objetivo de los Excale no es evaluar los aprendizajes logrados por cada alumno, sino tener una visin del Sistema Educativo en su conjunto. Las evaluaciones se realizan al final del ao escolar (mayo o junio).

Pueden los maestros y padres de familia conocer los resultados obtenidos por sus alumnos o hijos en los Excale?
Si bien no es posible conocer los resultados obtenidos en los Excale por algn estudiante en particular, el INEE publica los resultados obtenidos por todos los alumnos a nivel nacional, estatal y/o por modalidad educativa. La aplicacin de los Excale permite cubrir diversos objetivos: a) proporcionar un conocimiento general del rendimiento acadmico de los estudiantes como resultado de su escolarizacin formal, con distintos grados de desagregacin, entre los que se encuentran los estratos escolares de primaria (escuelas urbanas pblicas, rurales pblicas, cursos comunitarios, educacin indgena, y escuelas privadas) y las modalidades educativas de secundaria (escuelas generales, tcnicas, telesecundarias y escuelas privadas);

Pueden los maestros y padres de familia conocer los resultados obtenidos por sus alumnos o hijos en los Excale?
b) permitir comparaciones del rendimiento escolar entre diversas regiones geogrficas, as como entre distintas modalidades educativas; c) conocer los puntos fuertes y dbiles del aprendizaje de los estudiantes en distintos grados y reas temticas del currculum; d) conocer las tendencias a lo largo del tiempo del aprendizaje de las Matemticas, el Espaol, las Ciencias Naturales y las Ciencias Sociales; e) analizar algunas variables de contexto que influyen de manera importante en el logro escolar; y, f) identificar el crecimiento o estancamiento de los aprendizajes en las disciplinas evaluadas.

Cmo se efecta el anlisis e interpretacin de resultados de los Excale?

Esta fase se inicia con un anlisis de los resultados con el fin de establecer los niveles de logro de los estudiantes; se realizan los primeros anlisis estadsticos poniendo especial nfasis en el comportamiento psicomtrico de las pruebas aplicadas. Los niveles de logro que han sido utilizados por el INEE son:
NIVELES DE LOGRO COMPETENCIAS ACADMICAS

Por debajo del bsico

Indica carencias importantes en el dominio curricular de los conocimientos, habilidades y destrezas escolares, lo cual expresa una limitacin para progresar satisfactoriamente en la materia.

Bsico

Indica un dominio suficiente o elemental de conocimientos, habilidades y destrezas para poder progresar satisfactoriamente en la materia.

Medio

Indica un dominio adecuado de conocimientos, habilidades y destrezas que indican un buen aprovechamiento de lo previsto en el currculo.

Avanzado

Indica un dominio ptimo de conocimientos, habilidades y destrezas que indican el aprovechamiento mximo de lo previsto en el currculo.

Cmo se efecta el anlisis e interpretacin de resultados de los Excale?

Estos niveles se definen de acuerdo con la asignatura y grado de que se trate. Finalmente, se realizan los informes sobre los resultados de aprendizaje de los estudiantes evaluados, considerando las variables de contexto y de oportunidades de aprendizaje aportadas en l los cuestionarios aplicados a alumnos, docentes y directores. Asimismo, es muy importante para el INEE conocer el logro de aprendizaje de las distintas poblaciones muestreadas (entidades federativas, estratos y modalidades educativas), as como los contenidos del currculo nacional que los estudiantes dominan.

Cmo se difunden los resultados de Excale?

Los resultados de los Excale se dan a conocer a travs de mltiples modalidades: mesas pblicas; conferencias de prensa; libros; folletos, informes, etctera, los cuales pueden ser consultados en el portal de Internet del INEE:

http://www.inee.edu.mx/

Comparativo entre las pruebas

Principales programas e instrumentos de evaluacin que operan o han operado en el Sistema Educativo Nacional
Ao Instrumento o programa Descripcin

1984

SNI

Programa para evaluar a docentes/investigadores y otorgarles apoyos Econmicos

1989 1989 1991

Conaeva IDANIS CIEES

Comisin para evaluar a las IES. En los hechos ya no opera Instrumento de evaluacin al trmino de la educacin primaria

Comits de pares acadmicos que evalan programas de licenciatura

1994

EXANI

Instrumento para ayudar a tomar las decisiones de admisin a la educacin media y superior

1994

EGEL

Instrumento que proporciona informacin sobre los egresados de 34 carreras

1995

TIMSS

Tercer estudio internacional de matemticas y ciencias (IEA). Mxico particip pero retir los resultados del reporte final.

1995

TIMSS

Tercer estudio internacional de matemticas y ciencias (IEA). Mxico particip pero retir los resultados del reporte final Prueba ligada al currculo para tercero y sexto grados de educacin bsica. Desarrollada por UNESCO para los pases latinoamericanos. Mxico ha participado desde el principio Primer esfuerzo por evaluar la educacin bsica nacional. En su lugar opera ahora la prueba Excale Prueba internacional para evaluar las competencias bsicas para la vida y el trabajo de los jvenes de 15 aos Comisin para acreditar a los rganos certificadores de programas acadmicos Instrumento desarrollado por el INEE y destinado a evaluar al sistema educativo nacional Instrumento que proporciona informacin a estudiantes, docentes y padres de familia acerca del nivel de cada alumno de educacin bsica

1997

LLECE

1998

Estndares nacionales PISA

1998

2000

Copaes

2003 2006

Excale Enlace

De los instrumentos anteriores analizaremos slo a Excale, PISA, Enlace y Exani

Con la informacin analizada se pretende dar respuesta a la siguientes preguntas: Qu son estas pruebas?, Qu evalan?, Qu miden?, Cules son los propsitos?, Para que sirven los resultados que arrojan? Por ejemplo: Con PISA no se pretende evaluar a los alumnos que responden la prueba sino a los sistemas educativos nacionales. Por lo tanto, la prueba PISA explora habilidades genricas ya que no est asociada a ningn currculo nacional. En cambio Enlace es una prueba que proporciona un diagnstico de cada estudiante de educacin bsica.

La prueba Exani ayuda a las instituciones a tomar las decisiones de admisin. El Exani es un caso de cobertura homognea del dominio; es decir, todos los sustentantes deben responder a las mismas preguntas. Por su parte, las pruebas PISA y Excale son casos de cobertura amplia del dominio. Las pruebas Exani del Ceneval (instrumentos para ayudar al proceso de seleccin y admisin) se califican por norma. Las instituciones que solicitan estos instrumentos determinan el punto de corte, el cual generalmente est delimitado por los cupos en las propias instituciones.

Las pruebas Excale (INEE) utilizadas en la educacin bsica nacional estn ligadas al currculo, ya que evalan el nivel de cumplimiento de ste en cada uno de los grados explorados.

La prueba PISA, en cambio, suele reportar las proporciones de sujetos que caen en cada nivel de dominio, y es, por lo tanto, una calificacin por criterio.

Las pruebas Enlace, que la SEP aplica ao con ao en todo el pas, estn dirigidas a los estudiantes de cada uno de los grados de primaria y secundaria y a quienes cursan el ltimo grado de educacin media superior. Las pruebas Excale, que administra el INEE de acuerdo con su plan de largo plazo, estn dirigidas a ciertos grados escolares, por ejemplo 3 de preescolar, 3 y 6 de primaria, y 3 de secundaria, con base en un plan de aplicaciones espaciadas (cada cuatro aos) que den informacin peridica del comportamiento de algunos grados clave del sistema educativo nacional.

Los instrumentos Exani estn dirigidos a todos los aspirantes a ingresar a la educacin media y superior. Su aplicacin se realiza anualmente. La prueba Enlace se aplica a todos los estudiantes de ciertos grados, porque la idea es entregar a cada estudiante un reporte (medicin) de su desempeo en las variables o dominios del instrumento. En cambio, la prueba PISA se aplica slo a una muestra de estudiantes de 15 aos de edad, porque en sentido estricto no evala a las personas sino al sistema educativo nacional

Por lo que respecta a los reactivos:

Las pruebas Enlace y Exani se aplican a grupos muy grandes de sustentantes (millones) y sus resultados se entregan o difunden en tiempos muy cortos. Por esas condiciones de aplicacin, la prueba objetiva (opcin mltiple) es la adecuada. Por otro lado, las pruebas PISA y Excale, que se aplican a grupos relativamente pequeos de sustentantes (muestras poblacionales), utilizan una combinacin de reactivos de opcin mltiple y de respuesta construida.

De acuerdo al control de aplicacin

La prueba Enlace, que es fundamentalmente un instrumento de diagnstico y de informacin para los estudiantes, padres de familia, maestros y escuelas, no requiere de niveles altos de control en la aplicacin.

En cambio, el Exani, que apoya a las decisiones de admisin de las IES, requiere de un alto nivel de control para garantizar que los reportes de resultados correspondan estrictamente con las medidas de los sustentantes.

Impacto sobre los sustentantes

Enlace, Excale y PISA son evaluaciones de bajo impacto, ya que los resultados que arrojan no influyen en los sustentantes.
Exani, en cambio, es una evaluacin de alto impacto en virtud de que sus resultados implican las decisiones de admisin a una institucin educativa.

En lo que respecta a periodicidad

Excale tiene un programa de mediciones escaladas que se repiten cada cuatro aos. PISA mide cada tres aos y el aspecto de nfasis cada nueve aos. La prueba Enlace se administra cada ao porque es un servicio de diagnstico a los estudiantes que tambin requieren saber su progreso ao con ao. L Los Exani se aplican cada que una institucin organiza un proceso de admisin.

Resumen comparativo de los instrumentos analizados

Rasgo
Propsito general

Excale
Evaluar al sistema educativo
Diagnstico

PISA
Evaluar al sistema educativo Diagnstico Habilidades para la vida

Propsito especfico Dominio explorado

Alineada al currculo

Cobertura del dominio

Referencia para reportar Tipo de poblacin Cobertura de la poblacin Tipo de reactivos Control de la aplicacin Impacto Periodicidad

Amplio
Criterial Estudiantes al final de la EMS Muestra Respuesta construida Alto Bajo Cada cuatro aos

Amplio
Criterial Sujetos de 15 aos Muestra Respuesta construida Alto Bajo Cada tres aos

Rasgo Propsito general Propsito especfico Dominio explorado Cobertura del dominio Referencia para reportar Tipo de poblacin

Enlace Evaluar sujetos Diagnstico Competencias disciplinares Restringido Criterial Primaria, secundaria y EMS

Exani Evaluar sujetos Admisin Habilidades genricas Restringido Normativa Aspirantes

Cobertura de la poblacin Tipo de reactivos Control de la aplicacin Impacto Periodicidad

Censo Opcin mltiple Bajo Bajo Anual

De acuerdo con la demanda Opcin mltiple Alto Alto

Cada admisin a una IES

A manera de conclusin
Consideramos que la aplicacin de estos instrumentos deben de servir para la implementacin de polticas educativas tiles para quienes nos interesa el campo de la evaluacin, y tengamos opciones de comparacin. En ese sentido, lo que se debera hacer en Enlace por ejemplo, es aadir variables explicativas, tales como las caractersticas socioeducativas de las familias de los alumnos, al igual que las caractersticas de los profesores.

Muchas gracias por permitirnos compartir el conocimiento