Академический Документы
Профессиональный Документы
Культура Документы
recurso para elevar la calidad de la educacin en Mxico Autor: Vctor Manuel Velzquez Organizacin de Estados Iberoamericanos
Para la Educacin, la Ciencia y la Cultura
ESTUDIOS
n la actualidad, la evaluacin es un proyecto de amplia presencia en el Sistema Educativo Nacional. No se discute su importancia y la exigencia de que cumpla un papel de retroalimentacin para mejorar el aprendizaje, a la vez que ofrece, a diferentes niveles, la informacin necesaria para tomar decisiones que mejoren el funcionamiento del sistema. La evaluacin no determina la calidad de la educacin, pero s puede ayudar a su mejora si se usa adecuadamente. n ese sentido el Sistema Educativo Nacional de Mxico tiene ya avances importantes pero an queda un largo camino por recorrer. Para describir esta situacin se expondrn enseguida, a manera de antecedentes, las acciones realizadas y posteriormente se describir la estrategia diseada para lograr el objetivo propuesto.
197
1.
Introduccin
Desde hace ms de 20 aos, la Secretara de Educacin Pblica, a travs de la Direccin General de Evaluacin (DGE), desarrolla estudios y acciones de evaluacin educativa con el propsito de obtener informacin confiable para la toma de decisiones y el planteamiento de polticas en el sector. La experiencia institucional se inici en 1972. Desde ese momento la importancia que ha cobrado la funcin de evaluacin ha ido en
(*) Vctor Manuel Velzquez Castaeda es Director General de Evaluacin de la Secretara de Educacin Pblica de Mxico. Fue asesor del Subsecretario de Coordinacin Educativa de dicha Secretara y estuvo a cargo del despacho de la Direccin General de Acreditacin, Incorporacin y Revalidacin.
aumento; sin embargo, dicha importancia no siempre ha ido acompaada de un apoyo manifiesto mediante la asignacin de los recursos financieros, humanos y tcnicos necesarios para el desarrollo de la funcin evaluativa. En este sentido, la evaluacin educativa no ha podido impactar, en su aspecto tcnico, en el Sistema Educativo Nacional, como mecanismo bsico de informacin y realimentacin. En Mxico, la evaluacin educativa se realiza desde dos mbitos fundamentales y complementarios: el interno, a cargo de los responsables de otorgar un servicio educativo, y el externo, que se realiza por evaluadores que no forman parte del servicio educativo a evaluar. Reglamentariamente, la evaluacin externa compete a la Direccin General de Evaluacin (DGE). Hasta ahora la evaluacin externa se ha desarrollado fundamentalmente por la Federacin de manera central, lo que ha propiciado que las evaluaciones realizadas ofrezcan informacin para caracterizar la situacin educativa del pas en su conjunto. En este contexto, actualmente se desarrollan cuatro proyectos que merecen una mencin especial. En el marco del Programa para Abatir el Rezago Educativo, la evaluacin del aprendizaje y la evaluacin en el aula; y en el Programa de Carrera Magisterial, la evaluacin de la preparacin profesional y la evaluacin del aprovechamiento escolar.
198
2.
Objetivos
Establecer un sistema de medicin del logro educativo que proporcione peridicamente informacin vlida, confiable y comparable, de tal forma que sea posible producir series histricas para determinar el avance, el estancamiento o el retroceso en los niveles de logro y que permita correlacionar ste con otras variables.
Mejorar los procesos de difusin de resultados, generando informes de destino tipo, segn el usuario de la informacin. Probar modelos matemticos para la equiparacin de resultados
en el tiempo, independientemente de las modificaciones curriculares.
ESTUDIOS
asignaturas, con la intencin de conformar series histricas que permitieran realizar comparaciones y seguimiento de resultados a lo largo de tres ciclos escolares; este trabajo se sustent metodolgicamente en el siguiente diseo general de evaluacin.
COMPARACIN Y SEGUIMIENTO DE POBLACIN 1993-94 1994-95 FIN INICIO FIN INICIO FIN
1992-93 INICIO
1 2 3 4 4 5
COMPONENTE 13
6
COMPARACIN DE CONTENIDOS COMUNES
COMPARACIN
SEGUIMIENTO
199
De acuerdo con este diseo de evaluacin, se previ comparar los resultados de los alumnos que terminaban 2, 4 y 6 grados en el ciclo escolar 1992-93, con los resultados de los alumnos que egresaban dos aos despus de los mismos grados; y realizar el seguimiento de una misma poblacin a travs de tres grados escolares. Adems, en cada levantamiento se recopil informacin del contexto de los alumnos para observar la relacin que guardaba con los resultados de aprendizaje. Los resultados obtenidos permitieron apreciar la problemtica que enfrentan las escuelas en trminos del logro de los contenidos propuestos en los programas de estudio. En los cinco levantamientos de datos efectuados se observ que si los resultados se analizaban desde una perspectiva federativa, prcticamente no existan diferencias en los niveles de aprendizaje que alcanzan los alumnos. Pero, si los resultados se analizaban por tipo de escuela, se encontraban diferencias en algunos casos muy marcadas. La observacin de estas diferencias llev al planteamiento de la siguiente pregunta: Qu permite explicar los bajos niveles de logro escolar y, sobre todo, las diferencias en el nivel de aprendizaje en los diversos tipos de escuela?
Sin duda, la respuesta no es simple ni queda reducida a una relacin de causa-efecto, sobre todo si se considera que en la escuela ocurren procesos que tienen significados complejos y en alguna medida poco estudiados. En este caso, las experiencias de evaluacin efectuadas y la revisin de la investigacin social relacionada con los problemas de bajo logro escolar, permiten considerar que las caractersticas del contexto socioeconmico del alumno, la forma que asume la prestacin del servicio educativo y la interaccin entre ambas definen las causas del bajo logro escolar. Los resultados obtenidos permitieron advertir que algunas caractersticas de los alumnos, como no tener acceso a la educacin preescolar, el ingreso tardo a la escuela, la repeticin de algn grado, la baja escolaridad de los padres y la realizacin de alguna actividad laboral complementaria del alumno para la manutencin del hogar, influyen en conjunto de manera negativa en el aprovechamiento escolar de la manera siguiente:
200
El acceso de los alumnos a la educacin preescolar, que para algunos autores supone una oportunidad de eliminar los problemas de privacin cultural tpicos de los estratos ms desfavorecidos dados los conceptos educativos que se promueven en este nivel, influye positivamente en los niveles de aprovechamiento escolar. Las Escuelas Rurales Pblicas y los Cursos Comunitarios representaron en este estudio los mayores promedios de inasistencia a este nivel educativo.
En el marco de las comparaciones efectuadas, alumnos con antecedentes de educacin preescolar (sobre todo si cursaron 2 aos) mostraron mejores niveles de habilidades bsicas que aquellos que no haban asistido a este tipo de educacin, lo que permiti apreciar sus efectos positivos y sugerir la pertinencia de alcanzar una mayor cobertura, sobre todo en aquellas poblaciones de alumnos que mostraron mayores carencias.
ESTUDIOS
ol y Matemticas que los no repetidores, lo cual permite afirmar que es importante disear estrategias alternativas para eliminar la reprobacin y buscar otras opciones encaminadas a atender las deficiencias de formacin de los alumnos.
201
La preparacin profesional de los maestros y su compromiso encauzado en la Carrera Magisterial son elementos que estn actuando con una gran influencia en el aprovechamiento escolar de los alumnos; no obstante, debe sealarse que el programa ha incorporado ms maestros de escuelas urbanas que de rurales e indgenas.
3. Evaluacin en el aula
En lo que se refiere a esta accin, se realiz un diagnstico sobre la prctica evaluativa de los docentes en el aula y los conocimientos sobre aspectos tericos y normativos que la sustentan. En general, se observ que los docentes no conocen los documentos normativos que rigen la evaluacin en el aula y, por tanto, no aplican las disposiciones emanadas
de stos. Asimismo, manifestaron que su formacin en materia de evaluacin era insuficiente, por lo cual requirieron actualizacin en este sentido. En cuanto a los aspectos que privilegian los docentes para evaluar, la mayor frecuencia se observ en la utilizacin de pruebas para evaluar la adquisicin de conocimientos y en la participacin en clase, dejando en segundo trmino aspectos tan importantes como el desarrollo de habilidades y destrezas. De manera general se confirmaron los supuestos de los que parti el trabajo y se capt informacin detallada para el estudio de dos tipos de estrategias:
202
10
LA ACREDITACIN DE LOS APRENDIZAJES LA LISTA DE COTEJO COMO UNA FORMA DE REGISTRAR OBSERVACIONES PARA EVALUAR
11
ESTUDIOS
Como se observa en el siguiente grfico, cada una de ellas contiene los elementos tericos mnimos que la sustentan, una bibliografa bsica para acudir a ella en caso de requerir mayor informacin y la descripcin del procedimiento para utilizarlas en el aula.
NOMBRE DE LA FICHA
FICHA 5
NMERO
DE LA FICHA
DESARROLLO DE LA ESTRATEGIA
APOYO TERICO
BIBLIOGRAFA MNIMA
203
Al inicio del ciclo escolar 1994-95 se distribuy el documento base de las Estrategias de Evaluacin a todos los docentes de las escuelas de educacin primaria de control oficial de las cuatro entidades consideradas por el PARE. La opinin que los docentes tuvieron sobre las estrategias se capt a travs de tres mecanismos: cuestionarios, seguimiento del uso de las estrategias y reunin de intercambio de experiencias. Lo observado indica que en las zonas urbanas fue donde mejor se desarrollaron las estrategias, por las condiciones en las que operan estas escuelas (mayor infraestructura, recursos materiales y didcticos, etc.). Es importante mencionar que, como producto del trabajo, los docentes formularon propuestas concretas para la adecuacin de las estrategias.
4.
Dos de las acciones de evaluacin ms importantes por su cobertura e impacto se dan en el marco del Programa de Carrera Magisterial. El objetivo de dicho Programa es elevar la calidad de la educacin y revalorar la funcin magisterial; consiste en un sistema de promocin horizontal cuya participacin es voluntaria e incluye un esquema de
VALOR MXIMO
10 15 25 15 35 100
204
ESTUDIOS
CUADRO 1
CANTIDAD DE CENTROS DE APLICACIN Y DE ESCUELAS ATENDIDAS
PREPARACIN PROFESIONAL (CENTROS DE APLICACIN)
455 666
AO
1994 1995
CUADRO 2
CANTIDAD DE PRUEBAS ELABORADAS
AO
1994 1995
PREPARACIN PROFESIONAL
135 184
APROVECHAMIENTO ESCOLAR
67 87
205
La poblacin atendida no slo es grande, sino que se ha incrementado ao a ao (ver Cuadro 3)
CUADRO 3
CANTIDAD DE PROFESORES Y ALUMNOS ATENDIDOS
AO
1994 1995
En esta ocasin referiremos los procedimientos seguidos para la evaluacin de la preparacin profesional y del aprovechamiento escolar. Si consideramos los elementos del marco de referencia de la prueba, el primer reto al que nos enfrentamos, en el caso de la evaluacin de la preparacin profesional, es que no se contaba en nuestro pas con una experiencia similar. Nunca se haban aplicado pruebas para evaluar
a maestros en servicio. Tampoco en ninguna de las evaluaciones anteriores los resultados influan de forma directa en el salario de los docentes. En el caso de la evaluacin del aprovechamiento escolar no se present el mismo problema porque, por una parte, se tena ya una amplia experiencia en la medicin de aprendizajes y, por otra, se contaba con planes y programas de estudio nacionales y, en primaria, adems con libros de texto de uso obligatorio. El reto, en este caso, se plante en trminos de cobertura, esto es, nunca se haba realizado una medicin que abarcara una poblacin tan grande de alumnos y de escuelas. Para la evaluacin de la preparacin profesional, desde un inicio se defini que las pruebas deberan medir lo que el profesor debe saber en trminos de contenidos programticos y aspectos metodolgicos-, para desarrollar adecuadamente el proceso de enseanza-aprendizaje en funcin de los materiales curriculares vigentes. La definicin anterior implicaba, al menos, tres grandes bloques de contenidos que deberan considerarse en las pruebas: I. Conocimientos sobre contenidos de aprendizaje incluidos en los programas. II. Conocimientos sobre conceptos que son sustrato para la correcta enseanza de los contenidos programticos, y que no se explicitan en los programas. III. Dominio de los elementos metodolgicos y de enfoque que se presentan en los materiales complementarios a los programas de estudio. Como se observa, la principal dificultad estriba en determinar cul es el conjunto de contenidos que configuran lo que se podra definir como conocimientos fundamentales para la prctica docente. Para tal efecto se estableci el siguiente procedimiento:
206
2. Seleccin de los contenidos a evaluar. En esta etapa se eliminaban todos aquellos contenidos no susceptibles de medicin, mediante reactivos de opcin mltiple; por ejemplo, la expresin escrita.
ESTUDIOS
TEMA
UNIDAD
Como la variable a medir se defini como el porcentaje del logro del programa de estudios, se respetaron las ponderaciones en funcin del tiempo dedicado a cada tema y subtema. De la ponderacin de los temas y las unidades se desprende la carga horaria determinada por el plan de estudios y el peso que al interior del programa se le asigna a cada uno de los elementos. Por ejemplo, para el caso del tercero al sexto grados de la educacin primaria, se dan los siguientes valores: CANTIDAD DE HORAS A LA SEMANA
6,00 5,00 3,00 1,50 1,50 1,00
%
33,30 27,70 16,70 8,40 8,40 5,50
207
Por lo tanto, como en la prueba se debe mantener la proporcin establecida, el 33% de reactivos corresponde a Espaol. Es conveniente sealar que la tabla sirve tanto para alumnos como para maestros. Para los primeros, los reactivos se elaboran a partir de los Contenidos de Aprendizaje; para los segundos, se consideran adems los Contenidos Asociados y los Aspectos de Metodologa y Enfoque. Como se trataba de una experiencia novedosa, se estableci un procedimiento para asegurar la validez de contenido de las pruebas. Este consisti en:
4. Validacin del anlisis de materiales y de la tabla de especificaciones. Esta se realiz mediante tcnicas de toma de decisiones, para lo cual se recurri a jueces que determinaron si las actividades referidas en el punto 1 se efectuaron correctamente. Los jueces fueron especialistas en las distintas asignaturas, profesores, especialistas en medicin y especialistas en currculum. 5. Talleres de construccin de reactivos. Con el mismo propsito de asegurar la validez de los reactivos se decidi conformar un banco nacional de reactivos elaborado por maestros en servicio. Para las pruebas de docentes, los constructores fueron maestros de educacin normal (docentes formadores de docentes) y, para las pruebas de alumnos, maestros en servicio de los distintos grados y asignaturas. 6. Talleres de validacin de reactivos. Una vez construidos los reactivos fueron sometidos a procesos de validacin, con procedimientos similares a los referidos en el punto 4.
Una vez validados los reactivos y corregidos, los que as lo ameritaban, se procedi a:
208
7. Seleccin de reactivos. Debido a que el conjunto de contenidos por evaluar es muy amplio, lo mismo para docentes como para alumnos, se determin seleccionar aleatoriamente, en primer trmino, los contenidos a evaluar, respetando la ponderacin que cada tema y unidad tienen en la tabla de especificaciones. Como para cada contenido se cuenta con ms de un reactivo, en segundo trmino se seleccion aleatoriamente tambin el reactivo con el que se medira dicho contenido. 8. Ensamblaje de la prueba. Se estableci como criterio nico la secuencia temtica. Por ejemplo, en el caso de educacin primaria, las unidades temticas son las asignaturas: Espaol, Matemticas, etc., tomando como base la ponderacin establecida en la Tabla de Especificaciones.
Ahora bien, en forma especfica respecto de la evaluacin del aprovechamiento escolar en el ciclo escolar 1994-1995 -que, como ya se dijo, fue realizada a ms de cuatro millones de alumnos en educacin primaria y secundaria-, resulta conveniente referir algunas circunstancias bajo las cuales se llev a cabo: A. De acuerdo con los lineamientos generales de Carrera Magisterial, en los cuales se acusa la responsabilidad directa de la autoridad educativa de cada entidad federativa en la organizacin y desarrollo adecuado de la evaluacin del aprovechamiento escolar, se determin una estructura operativa en la cual el Secretario de Educacin de la entidad es el Coordinador General del evento.
ESTUDIOS
Esta estructura considera un Coordinador Operativo -en la mayora de las entidades federativas el Director de Planeacin-, Subcoordinadores de Nivel (al menos uno para primaria y otro para secundaria), Coordinadores de Aplicacin (uno por escuela, ajeno totalmente a sta, a fin de asegurar la fiabilidad de los resultados) y Aplicadores (los mismos maestros de las escuelas, pero considerando que en ningn caso un maestro aplicar la prueba al grupo de alumnos con los cuales l sera evaluado en el Programa de Carrera Magisterial). La responsabilidad de la supervisin se confiri a las Representaciones de la Secretara de Educacin Pblica en las distintas entidades federativas. Asimismo, con fines de diagnstico, la DGE realiz una seleccin de escuelas a cada entidad para realizar las evaluaciones de aprovechamiento escolar a los alumnos de todos los docentes de cada escuela, participaran o no stos en el Programa de Carrera Magisterial . Esto constituy dos tipo de muestra como referentes de comparacin de los resultados obtenidos en cada entidad federativa. B. Dentro de los niveles de educacin primaria y educacin secundaria -en los cuales se realiz la evaluacin del aprovechamiento escolarse hicieron las siguientes consideraciones: en primaria slo se aplic a los alumnos de cuarto a sexto grados de escuelas de organizacin completa (excluyendo educacin indgena); en secundaria se evalu a los alumnos en todas las asignaturas-grado (excluyendo educacin fsica, educacin artstica y educacin tecnolgica) de las escuelas secundarias generales y tcnicas (no fueron consideradas las telesecundarias). C. La cantidad de alumnos para evaluar a cada maestro fue, en el caso de primaria, de 25 y, en secundaria, de 36; asimismo, a fin de otorgar una mayor validez a los resultados que se obtuvieran, se consider una asistencia mnima del 80% de los alumnos de cada maestro para seleccionar la cantidad de alumnos referida en cada caso. Es importante sealar aqu que en el ciclo escolar anterior se seleccion, en forma aleatoria, a 9 alumnos por cada maestro de primaria y a 12 alumnos por cada maestro de secundaria. D. Con el propsito de explorar la mayor cantidad de contenidos de aprendizaje se elaboraron formas de examen diferentes, pero complementarias entre s; cinco para cada uno de los grados considerados en educacin primaria y tres para cada asignatura-grado de secundaria. La correspondiente batera de pruebas (por cada grado de primaria o
209
asignatura-grado de secundaria) se aplic al grupo de alumnos con los que fue evaluado el docente. E. Dado el universo definido, la aplicacin del aprovechamiento escolar se realiz en un perodo de cinco das, en promedio, al trmino del ciclo escolar. F. A fin de que al interior de cada escuela se gestionaran o consolidaran los procesos de evaluacin y autoevaluacin y de que se disearan estrategias de actualizacin y superacin docente que redundaran en un mayor aprovechamiento escolar de los alumnos, se determin que en un momento posterior a la aplicacin de las evaluaciones se distribuyera a cada escuela participante -y de ser posible a todas las escuelas de cada entidad federativa- un juego completo de las bateras de pruebas utilizadas para que fueran analizadas en funcin de los resultados obtenidos, adems de enviarle a cada escuela sus resultados con los valores medios de su estado y estrato socioeconmico, as como los mismos valores observados a nivel nacional.
5.
Desempeo profesional
210
El Desempeo Profesional lo entendemos como el conjunto de acciones cotidianas que realiza el maestro en la organizacin y conduccin del proceso enseanza-aprendizaje, as como en la interaccin con sus alumnos, la comunidad escolar y la comunidad en general, con el propsito de obtener resultados significativos en trminos de aprendizaje y cambios de conducta. Este factor comprende cuatro aspectos.
Planeacin del proceso enseanza-aprendizaje. Desarrollo del proceso enseanza-aprendizaje. Participacin en el funcionamiento de la escuela. Participacin en la interaccin escuela-comunidad.
La evaluacin de este factor est dirigida principalmente a elevar la calidad de la educacin y a propiciar cambios positivos en la prctica educativa.
6.
Si bien actualmente existen polticas establecidas para promover el desarrollo de acciones de evaluacin educativa en los estados, an no se
ESTUDIOS
ha logrado que la prctica de la evaluacin se institucionalice en todos ellos. En este momento son 14 los estados que, dentro de la estructura de sus Secretaras de Educacin, cuentan con un rea especfica para atender la evaluacin educativa; sin embargo, estas reas no cuentan con un nivel de desarrollo tcnico suficiente ni homogneo entre estados, requisito necesario para aportar informacin suficiente y de calidad al Sistema Nacional de Evaluacin. En este sentido, el proyecto ms importante que tiene actualmente la DGE, tiene como objetivo coadyuvar a elevar la calidad de la educacin en los estados, mediante el establecimiento formal de un grupo tcnico capacitado para la realizacin de evaluaciones que permitan la valoracin y reorientacin de la calidad de los servicios educativos que se prestan en cada entidad, as como las evaluaciones que se requieran a nivel central. El primer paso para el logro de este objetivo es que el gobierno de cada estado adquiera el compromiso de establecer un grupo formal cuya funcin sustantiva sea la evaluacin; posteriormente y de manera paulatina, se transferir de la DGE a cada entidad la metodologa hasta el momento desarrollada. En este sentido se dar importancia central a la formacin de los recursos humanos que constituyan los grupos estatales de evaluacin, procurando la mejor calidad de formadores en los diversos tipos de eventos. Se espera tambin que el trabajo de las reas de evaluacin cubra aspectos esenciales que de una u otra forma la evaluacin central ha cubierto, tales como la evaluacin en el aula y la amplia difusin de los resultados encontrados. Lograr que la evaluacin se convierta en una herramienta til para elevar la calidad de la educacin, requiere el esfuerzo compartido y coordinado de los estados y de la Federacin, en un Sistema Nacional de Evaluacin que aporte a los diferentes participantes informacin de calidad para la toma de decisiones en los mbitos central, regional y local.
211