Balance y Desafos Preal Autor: Guillermo Ferrer Primera edicin: 1.000 ejemplares Marzo 2006 Registro de Propiedad Intelectual: N 153.429 I.S.B.N. 956-8109-01-3 Impresin: Alfabeta Artes Grficas Carmen 1985 Fono Fax: 551 5657 5 INTRODUCCIN Introduccin.......................................................................................................... 7 Aspectos metodolgicos de este trabajo .......................................................... 10 PRIMERA PARTE I. ALGUNAS CONDICIONES Y PROCESOS DESEABLES PARA EL FORTALECIMIENTO Y LEGITIMACIN DE LOS SISTEMAS DE MEDICIN EN AMRICA LATINA.............................................................. 13 II. PRINCIPALES AVANCES Y DIFICULTADES EN EL DESARROLLO DE LOS SISTEMAS NACIONALES DE EVALUACIN Y MEDICIN DE LA CALIDAD EDUCATIVA DE AMRICA LATINA ........................................... 19 Fines y propsitos del sistema .......................................................................... 20 Marco institucional de las agencias o unidades de medicin ........................ 20 La medicin de aprendizajes y su relacin con el desarrollo curricular y de estndares .................................................................................. 24 Tipos de instrumentos de medicin: Caractersticas y validacin................. 28 Cobertura general de las evaluaciones ................................................ 28 Diseo de instrumentos ......................................................................... 29 Validacin tcnica y adecuacin lingstica ....................................... 33 Formas de reporte de los resultados ................................................................. 35 Reportes a autoridades de gobierno y alta direccin sectorial .......... 35 Reportes a actores educativos locales ................................................. 37 Informes especficos para padres de familia ....................................... 41 Seguimientos cualitativos ..................................................................... 42 ndice 6 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN Difusin y uso de los resultados de las mediciones....................................... 43 Uso para toma de decisiones de poltica o para el diseo de programas de mejoramiento ................................................................ 45 Uso pedaggico local ........................................................................... 46 Uso de altas implicancias .................................................................... 48 Responsabilizacin poltica ................................................................. 49 Pruebas internacionales comparadas de aprendizaje ......................................... 50 III. DISCUSIN Y SNTESIS .............................................................................. 51 SEGUNDA PARTE Descripcin de casos nacionales y subnacionales ......................................... 59 Argentina ................................................................................................... 60 Bolivia ........................................................................................................ 65 Brasil .......................................................................................................... 69 Chile ........................................................................................................... 74 Colombia .................................................................................................... 80 Costa Rica .................................................................................................. 85 Cuba ........................................................................................................... 90 Ecuador ...................................................................................................... 94 El Salvador ................................................................................................ 98 Guatemala ................................................................................................ 103 Honduras .................................................................................................. 107 Mxico ..................................................................................................... 112 Nicaragua ................................................................................................. 118 Panam ..................................................................................................... 121 Paraguay................................................................................................... 125 Per........................................................................................................... 129 Repblica Dominicana ........................................................................... 133 Uruguay.................................................................................................... 138 Venezuela ................................................................................................. 144 Minas Gerais, Brasil ............................................................................... 147 Paran, Brasil .......................................................................................... 152 So Paulo, Brasil ..................................................................................... 157 Bogot, Colombia ................................................................................... 162 Aguascalientes, Mxico.......................................................................... 166 Referencias bibliogrficas ...................................................................... 172 Entrevistas ............................................................................................... 172 7 NDICE El Grupo de Trabajo sobre Evaluacin y Estndares (GTEE) del PREAL Programa para la Promocin de la Reforma Educativa en Amrica Latina y el Caribe viene realizando desde el ao 2000 varios estudios sobre el esta- do de situacin de la medicin y evaluacin de la calidad educativa en Amrica Latina, as como del avance de los pases de la Regin en la propuesta y definicin de expectativas claras de aprendizaje, las que en este documento sern denominadas estndares. Tres de estos estudios sientan las bases conceptuales de este informe sobre la situacin actual de los siste- mas nacionales de evaluacin y desarrollo de estndares en la Regin, y sern citados frecuentemente a lo largo del texto. Esos informes son: Cmo presentan sus resultados los sistemas nacionales de evaluacin edu- cativa en Amrica Latina? (PREAL, 2001); Los prximos pasos: Hacia dnde y cmo avanzar en la evaluacin de aprendizajes en Amrica Latina? (PREAL, 2001); y Aspectos del curriculum prescrito en Amrica Latina: Revisin de tenden- cias contemporneas en curriculum, indicadores de logro, estndares y otros instrumentos (PREAL, http://www.preal.cl/GTEE/pdf/Ferrer.pdf, 1999). El presente informe del GTEE apunta a dar un paso ms all en la documentacin de los avances de Amrica Latina y el Caribe en cuanto al Introduccin 8 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN establecimiento, consolidacin, perfeccionamiento y utilidad de los sis- temas nacionales y subnacionales de medicin de aprendizajes, as como de los esfuerzos realizados en la Regin para el desarrollo de estndares de logro acadmico en la educacin bsica. En la primera parte de este documento se discute el progreso de los pases latinoamericanos en sus esfuerzos por establecer expectati- vas claras de aprendizaje, desarrollar herramientas de medicin y eva- luacin adecuadas para informar sobre el logro efectivo de esas expec- tativas, comunicar a los actores educativos y a la sociedad civil sobre la calidad de los sistemas pblicos de educacin en trminos de apren- dizajes logrados, y disear y ajustar polticas educativas para el mejo- ramiento de esos aprendizajes sobre la base de las informaciones reco- gidas en las evaluaciones. Los esfuerzos iniciales de indagacin estuvieron orientados a siste- matizar la informacin disponible sobre los sistemas nacionales de me- dicin, concretamente en relacin a las agencias responsables de la evaluacin en cada pas, el tipo de instrumentos desarrollados, las po- blaciones estudiantiles evaluadas y el tipo de uso que se da a los datos recogidos por esos sistemas. Para esa tarea se recurri a los datos reco- gidos por otros investigadores 1 en los ltimos aos, y sobre esa base se ampli y actualiz la informacin mediante entrevistas y anlisis docu- mentales realizados en casi todos los pases de la Regin. El informe busca aportar una visin crtica y conceptual sustenta- da sobre esas acciones. Para facilitar la comprensin de esa visin, se propone en la primera seccin una sntesis del tipo de procesos y condiciones que, segn este GTEE, y tal como se ha avanzado en estudios anteriores, contribuiran al fortalecimiento de una cultura evaluativa slida y legitimada en los pases de Amrica Latina, y a un mayor impacto en la toma de decisiones de poltica y en la prctica pedaggica para el mejoramiento del logro acadmico de los estu- diantes. Se presenta tambin una ampliacin y profundizacin de cada una de las categoras de anlisis seleccionadas para este estudio de los sistemas nacionales de evaluacin, y un resumen narrativo de algunos de los casos nacionales y subnacionales que pueden servir como ejem- plo ilustrativo de las diferentes modalidades tcnicas y organizaciona- 1 Rojas, C. y Esquivel, J.M. (1998); Wolff, L. (1998). 9 INTRODUCCIN les de evaluacin desarrolladas en la Regin. En general, se opt por presentar en esta seccin los casos ms institucionalizados, o los ms innovadores, aunque ocasionalmente se hace referencia a sistemas na- cionales que sirven de contraejemplo para ilustrar las problemticas que suelen enfrentarse en cada uno de los aspectos de la evaluacin aqu analizados. Luego se ofrece un apartado de discusin, a modo de resumen, de los avances y dificultades ms importantes observados en los sistemas de evaluacin regionales. En la segunda parte del informe se presenta un resumen individual para cada caso nacional y subnacional de evaluacin de aprendizajes, siguiendo las mismas categoras de anlisis utilizadas en la primera parte del documento. A estos resmenes individuales podr referirse el lector para acceder a informaciones ms detalladas sobre los casos mencionados a lo largo del documento, o para comparar las caracters- ticas de los sistemas entre pases. Es conveniente remarcar que a lo largo del proceso de elabora- cin de este informe, los sistemas nacionales de evaluacin han su- frido cambios de tipo institucional y metodolgico, coincidentes a menudo con los recambios frecuentes de autoridades polticas sec- toriales. En algunos casos se trata de ajustes parciales en la metodolo- ga o cobertura de las evaluaciones, mientras que en otros se han reali- zado cambios estructurales e institucionales de considerable magnitud. En todos los casos se ha intentado ofrecer la informacin ms ac- tualizada disponible al momento de esta publicacin, aunque es posible que algunos cambios recientes no estn debidamente regis- trados. De todas maneras, se invita al lector a considerar este anlisis como un retrato dinmico que abarca principalmente el desarrollo de los sistemas nacionales de evaluacin a lo largo de los aos noventa, y algunos de los cambios ms importantes introducidos recientemente como respuesta a las problemticas enfrentadas en los diferentes pases a lo largo de ese perodo. Claramente, la descripcin presentada podra ser actualizada a dia- rio, considerando especialmente la inestabilidad institucional que expe- rimentan muchos de los sistemas de evaluacin y ministerios de educa- cin de la Regin, pero esperamos que este trabajo sirva al propsito principal de mostrar las principales tendencias, avances y problemti- cas que se ha podido observar en los ltimos diez aos de evaluacin estandarizada de aprendizajes. 10 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN ASPECTOS METODOLGICOS DE ESTE TRABAJO Todas las informaciones presentadas en este informe, tanto en la primera como en la segunda parte, se basan en fuentes bibliogrficas y documentales consultadas, as como en casi 60 entrevistas realizadas a representantes de las unidades de medicin y expertos en evaluacin de 19 pases de la Regin y cinco sistemas subnacionales. Otras informacio- nes adicionales fueron recogidas por medio de comunicaciones electrni- cas con esos representantes nacionales, quienes agregaron, modificaron o actualizaron los datos que el autor les hizo llegar para su revisin. Cada tema o categora de anlisis considerado fue desglosado en un conjunto de subtemas, tal como se describe en el siguiente cuadro: Adecuacin segn marco poltico y capacidades tcnicas: Estabilidad Financiamiento y autonoma administrativa Recursos humanos Autonoma y capacidad para la difusin de resultados Transparencia Disponibilidad, adecuacin y utilizacin de marcos cu- rriculares nacionales para el diseo de instrumentos de medicin. Desarrollo y validacin de estndares alineados con el currculo vigente. Marco conceptual slido y explcito para la elabora- cin de matrices de referencia. Validacin de matrices de referencia e instrumentos. Tipos de temes o reactivos. Adecuacin cultural y lingstica (EBI). Cobertura muestral o censal coherente con objetivos de la evaluacin. Estudio de contexto escolar y extraescolar para anlisis de factores asociados al rendimiento. Coherencia entre tipos de reporte y usos esperados (desarrollo curricular, pedagoga, focalizacin de apoyos, capacitacin docente, seleccin de alumnos, etc.). Adecuacin de reportes a distintos tipos de destinata- Categoras de anlisis Subtemas Marco institucional Currculo y estndares Instrumentos Reportes 11 INTRODUCCIN Por tratarse tambin de un anlisis crtico, y no meramente descrip- tivo, de los sistemas nacionales de evaluacin, este informe contiene apreciaciones personales del autor sobre las caractersticas de esos sis- temas y sobre el grado de desarrollo e impacto que han logrado en los ltimos aos. Sin embargo, las afirmaciones realizadas estn basadas en el anlisis de todas las fuentes disponibles para cada caso nacional y subnacional, e intentan incorporar las voces de diferentes actores del proceso evaluativo, tanto dentro como fuera de los rganos oficiales de gestin. Tambin fue necesario realizar comparaciones entre las versiones de actores gubernamentales pertenecientes a diferentes perodos de ad- rios (claridad, guas de interpretacin, sensibilizacin, etc.). Informaciones sobre factores asociados y modelos de valor agregado. Devolucin: Tiempos Alcance Periodicidad Impacto: Uso escolar Toma de decisiones de poltica/diseo de programas Responsabilizacin poltica Altas implicancias: Escuelas Docentes Alumnos Diferencias principales con sistemas nacionales: Estndares Cobertura censal Participacin de actores locales Tiempos y formas de devolucin de resultados Uso centrado en el mejoramiento pedaggico Desarrollo de capacidades tcnicas Difusin de resultados e impacto en la opinin pblica Usos especficos de los resultados Difusin y usos Sistemas subnacionales Pruebas internacionales 12 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN ministracin sectorial, a menudo correspondientes a gobiernos naciona- les de diferentes orientaciones polticas y estilos de gestin. Esta multi- plicidad de voces implic una tarea de sntesis e interpretacin de la realidad que, seguramente, sera materia de debate en cada caso anali- zado. De todas maneras, resulta relevante recordar que todos los casos presentados fueron revisados por las autoridades tcnicas en cada pas, quienes tuvieron la oportunidad de corregir, moderar o actualizar las informaciones e interpretaciones ofrecidas por el autor. 13 PRIMERA PARTE I. ALGUNAS CONDICIONES Y PROCESOS DESEABLES PARA EL FORTALECIMIENTO Y LEGITIMACIN DE LOS SISTEMAS DE MEDICIN EN AMRICA LATINA Es claro que los modelos y sistemas 2 de medicin y evaluacin del desempeo acadmico de los estudiantes deben disearse sobre la base de las condiciones polticas y de las capacidades tcnicas y operativas, actuales o potenciales, de cada pas. Sin embargo, la experiencia en evaluacin acumulada hasta el presente en la Regin, as como la expe- riencia ganada en pases ms desarrollados, permite avanzar un conjunto de condiciones que pueden considerarse deseables o recomendables para cualquier pas que est planificando o ajustando su sistema de medicin y evaluacin de resultados de aprendizaje. Entre ellas, merecen mencio- narse las siguientes: 2 En teora, el trmino sistema da cuenta de una organizacin y articulacin relativa- mente complejas entre las partes de un todo. En este trabajo mantendremos la denomi- nacin de sistema para todos los programas nacionales de evaluacin de aprendizajes, aunque el lector observar que en algunos casos esos programas no lograron articularse con otros esfuerzos de poltica sectorial, o bien lo hicieron pero durante perodos de tiempo acotados, por lo cual podra considerrseles proyectos de medicin y no es- trictamente sistemas. Primera parte ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 14 Los propsitos de las evaluaciones de logros de aprendizaje y los usos pretendidos de sus resultados deben ser materia de amplia con- sideracin y debate desde el inicio del proceso de establecimiento de un programa de pruebas o de un sistema de evaluacin educacional ms amplio. Las bondades del enfoque, metodologa, instrumentos e impacto de las pruebas y evaluaciones tienen que establecerse en funcin de cun bien sirven a esos propsitos y cun efectivo ha sido el uso de los resultados para lograrlos. Los pases deben considerar cul es el marco o estatus institucional ms adecuado para la agencia evaluadora responsable. Especfica- mente, conviene discutir y definir con claridad, de acuerdo a las condiciones polticas y tcnicas de cada pas, si la unidad de medi- cin debe ser una dependencia oficial, un ente contratado externo, o si debe establecerse un sistema mixto. En cualquier caso, lo que resulta imprescindible es definir con claridad el grado de autonoma funcional que tendra la unidad evaluadora. El marco institucional puede tener fuertes implicancias para la credibilidad y legitimidad de sus acciones, para la sostenibilidad tcnica-operativa y financiera del sistema, o para las posibilidades de difusin, uso e impacto de los resultados de las evaluaciones. Los instrumentos de medicin deben estar referidos a las expectati- vas o metas de aprendizaje que cada pas o regin se haya propues- to mediante los marcos curriculares nacionales. Para esto se requie- re que esas metas estn expresadas claramente, lo suficiente como para que las competencias cognitivas disciplinares que van siendo alcanzadas por los estudiantes puedan ser reconocidas de la manera ms objetiva posible por todos los evaluadores del sistema: docen- tes, directores, supervisores y agentes profesionales externos a la escuela. Esas metas deben estar descritas operacionalmente 3 y ejemplificadas para facilitar la comprensin de todos los actores del sistema sobre 3 Una definicin operacional de las metas de aprendizaje consiste en la descripcin clara y lo suficientemente detallada del tipo de saberes conceptuales y procedimentales que el estudiante debe demostrar haber desarrollado. Esto no implica un grado de operacionali- dad tal que limite la observacin y restrinja el juicio evaluativo a una forma nica de expresin del conocimiento, pero s debe ser lo suficientemente descriptivo como para guiar la construccin de instrumentos de medicin vlidos, asegurar la unidad de criterios al momento de la correccin de respuestas, y producir informaciones comprensibles y substantivas sobre qu tipos de conocimientos han adquirido los estudiantes. 15 PRIMERA PARTE cules son las expectativas de logro acadmico en las diferentes reas curriculares. Adicionalmente, la descripcin debe diferenciar y ejemplificar los distintos niveles de logro que es posible se obtengan en la prctica para cada competencia a desarrollar en las diferentes reas curriculares evaluadas. Puede, por ejemplo, describirse un ni- vel de logro insuficiente, un nivel mnimo, uno medio y uno avanza- do, para cada rea curricular y cada nivel (grado o ciclo) de escolari- dad evaluados. Esta clasificacin, con su descripcin operacional y su ejemplificacin, constituye el marco de interpretacin bsico que permitir a los profesionales de la educacin y a los ciudadanos comprender la significancia de los datos arrojados por las evaluacio- nes, y permitir tambin generar estrategias pedaggicas y curricula- res focalizadas para mejorar los resultados de aprendizaje. Donde no existan definiciones claras y operacionales de las compe- tencias complejas a desarrollarse, sino unas definiciones generales y orientadoras para el desarrollo curricular, como es el caso en casi todos los pases de Amrica Latina, es preciso reforzar el vnculo de trabajo y la comunicacin entre las unidades tcnicas de medi- cin y los profesionales a cargo del diseo curricular oficial para desarrollar, en conjunto, indicadores claros de desempeo acadmi- co e instrumentos de evaluacin debidamente alineados con esos indicadores. La metodologa y cobertura de las mediciones deben ser consistentes con los propsitos y usos de las evaluaciones y deben validarse tc- nica y socialmente 4 . Esto implica tomar decisiones racionales y dis- cutidas en profundidad sobre los siguientes aspectos: El objetivo y los sujetos de las mediciones, es decir, si se busca evaluar el sistema, a las instituciones, o a los actores individualmente (docentes y alumnos, en especial). La decisin determinar, por ejemplo, si las pruebas deben ser censales o muestrales, si estarn referidas a normas o a criterios, o si los resultados tendrn altas o bajas implicancias para los actores. Si los datos recogidos por las mediciones van a ser utilizados para el mejoramiento pedaggico o curricular, ser necesario disear instru- 4 Por validacin social entendemos los mecanismos de discusin y decisin compartida entre actores clave de la comunidad educativa sobre la pertinencia, relevancia y calidad de los contenidos e instrumentos de evaluacin. Considrese tambin como parte de la comunidad educativa a los representantes de la sociedad civil que se busca involucrar y comprometer en el proceso de mejoramiento de la calidad educativa. ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 16 mentos adecuados para esos fines, lo que requerir tomar decisiones sobre, por ejemplo, el modelo de medicin utilizado para medir el logro de competencias de complejidad creciente, si los reactivos (te- mes) de las pruebas exigirn respuestas de opcin mltiple, respues- tas abiertas, demostraciones prcticas de laboratorio, o una combina- cin entre estas alternativas u otras que se propongan, el grado de cobertura del currculo que tendrn las pruebas, etc. Todos los instrumentos de las evaluaciones requieren ser validados en forma experimental, es decir, mediante aplicaciones piloto en el campo, antes de elaborar su versin definitiva. En algunos pases ser necesario realizar validaciones especficas cuando se decida evaluar poblaciones cuya lengua materna sea dife- rente de la lengua oficial. En estos casos, la validacin tcnica de los instrumentos involucrar aspectos lingsticos (traducciones adecua- das o elaboracin de reactivos en lenguas nativas), as como aspectos culturales generales para asegurar que los temes no contengan ses- gos que dificulten las respuestas de manera discriminatoria. Si adems de medir los aprendizajes se considera necesario o conve- niente medir los factores escolares y extraescolares asociables al rendimiento acadmico de los estudiantes esto es, medir variables que pueden estar incidiendo o estar vinculadas con el desempeo escolar y analizar sus relaciones con este, es necesario utilizar proce- dimientos tcnicos slidos para la recoleccin de datos y su posterior anlisis estadstico. Asimismo, pueden disearse instrumentos estan- darizados (guas de entrevistas u observacin, anlisis de videogra- baciones de aula, etc.) para la realizacin de seguimientos cualita- tivos sistemticos sobre los procesos pedaggicos e institucionales que puedan contribuir a explicar los diferentes resultados de aprendi- zaje obtenidos en las mediciones cuantitativas. La forma en que se reportan los resultados de las evaluaciones debe guardar coherencia con los objetivos de las mediciones y debe tener en cuenta las necesidades concretas de informacin de los usuarios. Por ejemplo, si lo que se desea es brindar informacin sobre el logro de los estudiantes en algunas capacidades especficas de reas curri- culares recientemente implementadas, de manera tal que las escuelas puedan realizar ajustes all donde se detecten dificultades, es poco til reportar los resultados en forma agregada con un porcentaje bru- to de logro para el total de cada rea curricular o disciplina. De la misma manera, si lo que se busca es mayor involucramiento de los 17 PRIMERA PARTE padres en los procesos de aprendizaje de sus hijos, ser necesario brindarles informacin no solamente sobre el nivel de logro de sus hijos en ciertas capacidades acadmicas, sino tambin una descrip- cin y ejemplos del tipo de desempeo que se espera de ellos en el nivel educativo en que se encuentran. Si lo que se desea es emitir juicios sobre la calidad de las escuelas en trminos de los logros acadmicos de sus estudiantes, y no solo com- parar o establecer un ranking de resultados por institucin o mbitos geogrficos, es necesario reportar los resultados de las evaluaciones distinguiendo el nivel econmico y sociocultural de la poblacin es- tudiantil con que esas escuelas trabajan, as como las condiciones de infraestructura, equipamiento y recursos humanos con que cuentan. De esa manera, ser posible comparar los niveles de logro de cada escuela con el conjunto de escuelas que trabajan en condiciones si- milares y as evitar conclusiones injustas sobre la calidad de cada establecimiento 5 . Si las mediciones se realizan siguiendo un modelo de valor agregado, es decir, calculando el progreso acadmico de los estudiantes respecto de s mismos en el tiempo, y en comparacin con alumnos de niveles socioeconmicos similares, tambin podrn reportarse datos y realizarse inferencias ms justas sobre la capaci- dad de cada centro educativo para ofrecer oportunidades adecuadas de aprendizaje. Las mediciones orientadas a recabar informacin que permita una intervencin remedial para elevar los resultados de aprendizaje de- ben ser acompaadas con programas fuertes, focalizados o integrales, que apoyen el mejoramiento de la gestin y los procesos pedaggicos en las escuelas. En ltima instancia, los sistemas de evaluacin solo se consolidarn y legitimarn socialmente en la medida en que los actores perciban que la medicin es, en efecto, una herramienta para el mejoramiento de la calidad de la educacin y no un ejercicio solo diagnstico o eventualmente punitivo. Si los esfuerzos de evaluacin estn orientados a movilizar la opi- nin pblica y las fuerzas de la sociedad civil en relacin al mejora- miento de la calidad educativa, es necesario disear estrategias co- municacionales efectivas. La eficacia de esas estrategias depende no solamente de la capacidad del sistema para llegar a diferentes au- 5 Para un tratamiento ms detallado, y adecuadamente ejemplificado, sobre este aspecto de la medicin de aprendizajes se recomienda la lectura de Ravela, 2002. ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 18 diencias por medio de documentos y publicaciones masivas, sino tambin del grado de involucramiento de actores y organizaciones clave de la comunidad educativa y de la sociedad civil en el pro- ceso evaluativo. En la medida en que esos actores, como por ejemplo representantes de los sindicatos docentes, empresarios o profesionales de los medios de prensa, sean partcipes de los pro- cesos y del diseo de las estrategias comunicacionales, se lograr un mayor alcance e impacto de la informacin derivada de las mediciones. Aun cuando la difusin de los resultados quiera ha- cerse solo en forma local y focalizada, como por ejemplo a escue- las o municipios, ser tambin necesario consultar ampliamente a representantes de esos sectores en particular para determinar con mayor precisin cul ser la mejor estrategia comunicativa a utili- zarse. En cualquier caso, independientemente de cules audiencias se desee alcanzar con prioridad, es muy importante realizar la devo- lucin de los datos en forma oportuna, peridica, y asegurando la llegada a la mayor cantidad posible de individuos e instituciones. Los esfuerzos de evaluacin en cada pas requieren de la iniciati- va y voluntad poltica central (nacional) para establecerse, conso- lidarse y lograr impactos significativos, pero tambin es conve- niente facilitar y promover las iniciativas subnacionales (zonales, jurisdiccionales) de evaluacin externa. En los pases en vas de desarrollo, la cooperacin entre unidades tcnico-polticas centra- les y locales es una estrategia clave para ganar espacios de experi- mentacin, legitimacin y de mayor impacto de las prcticas eva- luativas. Donde se decida participar en pruebas internacionales comparadas de rendimiento acadmico, y al igual que con las pruebas naciona- les, es necesario definir claramente cules sern los objetivos na- cionales especficos de la evaluacin para poder disear estrate- gias de comunicacin y lneas de intervencin que fortalezcan el impacto de las informaciones recabadas mediante la medicin 6 . 6 Un tratamiento en profundidad de este tema puede encontrarse en Ferrer y Arregui (2002). 19 PRIMERA PARTE II. PRINCIPALES AVANCES Y DIFICULTADES EN EL DESARROLLO DE LOS SISTEMAS NACIONALES DE EVALUACIN Y MEDICIN DE LA CALIDAD EDUCATIVA DE AMRICA LATINA Durante las ltimas dos dcadas la mayor parte de los pases de la Regin ha adoptado algn modelo de evaluacin nacional de los resulta- dos de aprendizajes. En algunos casos la experiencia de evaluacin fue ganndose con lentitud, con aplicaciones para fines muy especficos, como el de regular la admisin a la educacin superior o evaluar el impacto de un proyecto focalizado de mejoramiento educativo auspicia- do por un organismo de cooperacin internacional. En otros casos, la evaluacin mediante pruebas estandarizadas se adopt en forma relativa- mente abrupta, como parte de los programas de reforma educativa ms o menos integral, muy comunes en los aos noventa, y dentro de marcos institucionales y organizacionales creados especficamente para ese fin. Existe en la actualidad una variedad considerable en los niveles de desa- rrollo alcanzados por los diferentes sistemas nacionales de evaluacin, dependiendo de las capacidades tcnicas, operativas y financieras de las unidades de medicin, as como de los contextos polticos dentro de los cuales se enmarcan. Esta seccin ampla la discusin anterior sobre las caractersticas deseables de los sistemas nacionales de evaluacin, segn indica la experiencia y la literatura especializada internacional, y presenta ejemplos ilustrativos extrados de casos nacionales y subnacionales de medicin y evaluacin de aprendizajes recogidos en el marco de este trabajo de investigacin. El tratamiento de las caractersticas de los sistemas de medicin se organiza en torno a seis temas principa- les: Fines y propsitos de los sistemas. Marco institucional de las agencias o unidades de medicin. La medicin de aprendizajes y su relacin con el desarrollo curricu- lar y de estndares en cada contexto nacional. Tipos de instrumentos de medicin. Formas de reporte de los resultados. Difusin, uso e impacto de los resultados. Finalmente, se ofrece un resumen breve sobre la participacin de pases latinoamericanos en pruebas internacionales comparadas de ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 20 aprendizaje, segn las informaciones obtenidas en un trabajo de investi- gacin anterior a cargo de este autor. Fines y propsitos del sistema Como se afirm desde los inicios de las actividades del Grupo de Trabajo sobre Estndares y Evaluacin del PREAL 7 , en muchos pases de la Regin fue insuficiente la reflexin acerca de los fines especfi- cos que se esperaba o deseaba que persiguieran sus sistemas de evalua- cin, con la consecuencia de que algunas de las definiciones tcnicas que se tomaron inicialmente no fueron las ms adecuadas para los pro- psitos o usos diferentes que luego se quiso dar a los instrumentos y resultados de las mediciones. Con dificultad un solo diseo servira para satisfacer todos los objetivos a veces incluso incongruentes entre s perseguidos a lo largo del tiempo por los hacedores de poltica, pero los costos de disear instrumentos complementarios y las urgen- cias de contar con informacin sustentatoria para ciertas decisiones a veces inducen a usos equivocados de los resultados de las pruebas. Esto se ve agravado por la ausencia, en muchos casos, de una visin de largo plazo sobre el desarrollo del sistema y a la necesidad de improvi- sar medidas de emergencia que, a veces, acaba por debilitar la legiti- midad y consolidacin de los sistemas. Afortunadamente, la acumulacin de experiencia y el relativo forta- lecimiento de capacidades evaluativas obtenidos por muchos pases de la Regin permitiran en la actualidad una revisin de esos fines y objetivos, con la ventaja de que el debate podra estar iluminado por experiencia vivida, y no solo por concepciones tericas o modelos im- portados de otros contextos. Es posible, y lo demuestran en estos das pases como Repblica Dominicana, Chile y otros, realizar ajustes pro- fundos sin necesidad de desmontar totalmente los sistemas y las capa- cidades institucionales ya instaladas. Marco institucional de las agencias o unidades de medicin La experiencia de evaluacin de los resultados de aprendizaje en Amrica Latina data de al menos dos dcadas, aunque la mayor parte de los sistemas oficiales de evaluacin se crearon durante los aos 7 Ver la introduccin a Ravela et al. (2001). 21 PRIMERA PARTE noventa. Algunos pases, como Chile y Colombia, vienen realizando des- de hace muchos aos aplicaciones continuas de pruebas de rendimiento acadmico y las unidades de medicin a cargo gozan de altos grados de legitimidad y continuidad tcnica a pesar de los vaivenes polticos que se producen peridicamente por los cambios de gobierno nacional. Otros sistemas, como los de Ecuador, Guatemala, Bolivia o Per han sido ms vulnerables a las voluntades polticas de turno, lo cual ha determinado que las informaciones del sistema no siempre sean difundidas de modo pblico, o que los equipos tcnicos se recambien de manera repentina, con el consecuente impacto sobre la calidad de los instrumentos, de los operativos, o del diseo e implementacin de estrategias apropiadas para la difusin de los datos. Durante estas dos ltimas dcadas los pases han ensayado diferentes marcos institucionales para la administracin de los sistemas de evalua- cin educativa. El avance radica, precisamente, en ese ensayo, en la bsqueda de la forma que mejor acomode a los intereses y metas de las polticas de Estado en educacin. En general, puede afirmarse que a pesar de los cambios y de algunos casos de fuerte inestabilidad poltica, ha habido una tendencia a sostener los sistemas de evaluacin naciona- les, y a reinstaurarlos o recomponerlos cuando sus actividades fueron discontinuadas en algn momento. En varios pases, los arreglos institucionales ms estables resultaron ser los que se instalaron fuera de la estructura orgnica de los ministerios de educacin. Estos sistemas, por lo general denominados institutos, poseen mayor autonoma administrativa y tcnica que otros rganos de lnea y suelen llevar a cabo sus tareas de medicin y devolucin de resultados con ms agilidad y consistencia que los sistemas dependientes de los ministerios. Dos ejemplos de este tipo de forma institucional son los del ICFES en Colombia y el INEP en Brasil. En Colombia, si bien existe una unidad de evaluacin dentro del Ministerio de Educacin Nacional, el protago- nismo tcnico y operativo en la realizacin de diferentes evaluaciones nacionales lo ha tenido el ICFES, Instituto Colombiano de Fomento a la Educacin Superior. Este organismo, si bien no es totalmente indepen- diente del Ministerio, ya que este ltimo lo financia y preside, goza de amplia discrecin y autonoma en la toma de decisiones tcnicas con respecto a algunas de las pruebas nacionales, como por ejemplo el Exa- men de Estado para el ingreso a la educacin superior. En Brasil, por su parte, las evaluaciones nacionales de aprendizajes son realizadas por el ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 22 INEP, Instituto Nacional de Estudios e Investigaciones Educativas, que tambin se administra independientemente del Ministerio de Edu- cacin. En ambos casos, los operativos de evaluacin se vienen reali- zando con periodicidad desde hace varios aos y los equipos tcnicos han tenido la posibilidad de consolidarse y desarrollar poco a poco nuevas tecnologas de medicin de los aprendizajes. Mxico, luego de haber contado con un sistema de medicin de- pendiente de la Secretara de Educacin Pblica durante muchos aos, cre recientemente el Instituto Nacional de Evaluacin de la Educacin (INEE), un organismo semiautnomo que contar con ma- yor latitud que la antigua Direccin General de Evaluacin para la toma de decisiones tcnicas y administrativas sobre los operativos de evaluacin. Tambin Argentina intent en el ao 2001 la creacin de un instituto semiautnomo de evaluacin, el IDECE, aunque los ines- perados cambios de gobierno nacional en ese mismo ao determina- ron su disolucin y la reinstalacin del sistema nacional, en la actuali- dad denominado DINIECE, dentro del organigrama regular del Ministerio de Educacin. Las agencias de evaluacin autnomas, o institutos, si bien pue- den adquirir mayores grados de autonoma funcional y legitimidad tcnica, tambin pueden presentar problemas. Quizs el mayor riesgo es que se desvinculen de las necesidades de informacin de los minis- terios, convirtindose as en programas de medicin de alta calidad tcnica pero con escaso impacto sobre la toma de decisiones de pol- tica para el mejoramiento de la calidad educativa. En algunos aos ms podr hacerse una evaluacin de situacin sobre el funciona- miento e impacto de los institutos nacionales de reciente formacin en la Regin. En otros casos se ha dado una evolucin inversa, en que sistemas o proyectos de medicin anteriormente administrados por institucio- nes independientes se encuentran hoy administrados desde los minis- terios de educacin. Tal es el caso de Chile, donde la organizacin e implementacin iniciales del SIMCE estuvieron delegadas por el Mi- nisterio de Educacin en universidades pblicas o privadas con la suficiente capacidad tcnica para llevar a cabo esas tareas. Hoy, sin embargo, el sistema de evaluacin se administra enteramente desde la Unidad de Curriculum y Evaluacin del Ministerio de Educacin. En este caso particular, dada la capacidad tcnica y la legitimidad ganada por el SIMCE a lo largo de las dos ltimas dcadas, el funcionamien- 23 PRIMERA PARTE to dentro del Ministerio de Educacin no parece haberle restado al sistema autonoma o estabilidad en sus funciones 8 . Pero no todos los casos de transferencia de responsabilidades a los ministerios de educacin resultan exitosos o convenientes. En Ecuador, por ejemplo, la terminacin del programa de evaluacin APRENDO, que fuera financiado enteramente con fondos de coopera- cin internacional, signific el final de los operativos. Si bien se planific la transicin del sistema a la administracin pblica minis- terial, la ausencia de recursos materiales y profesionales especializa- dos en el Ministerio impidi la continuidad de las evaluaciones tal como venan realizndose antes, y tampoco se han diseado nuevos programas de medicin. Este fenmeno es comn a casi todos los pases que iniciaron sus sistemas de evaluacin con financiamiento y apoyo tcnico de los organismos de cooperacin internacional, principalmente el BID y el Banco Mundial. Sin embargo, existen excepciones, como Uruguay y Argentina, que hoy financian con fondos del presupuesto ordinario sus sistemas de medicin dentro de la estructura orgnica ministerial y la continuidad de los operativos no se ha visto amenazada de mane- ra importante 9 . Otro factor que parece contribuir a la estabilidad y permanencia de los sistemas de medicin es la existencia de leyes nacionales que ordenen su creacin y sostenimiento. Valga como ejemplo el sistema de Pruebas Nacionales en Repblica Dominicana, que si bien funcio- na en condiciones organizacionales relativamente precarias, los ope- rativos anuales de evaluacin siguen realizndose en forma regular, tal como indica la Ley General de Educacin y un conjunto de orde- nanzas nacionales especficas. Esto mismo podra ocurrir en Per, por ejemplo, donde la nueva Ley General de Educacin prescribe la crea- 8 La legitimidad ganada por el SIMCE, vale notar, podra atribuirse a que los resultados de las pruebas no han dado indicios de mejoras sustanciales en la calidad de los aprendizajes durante la ltima dcada. Desde el punto de vista poltico, esto hace del SIMCE una herramienta crtica de los resultados de las polticas educativas del gobierno nacional. Cabra preguntarse si esa legitimidad pudiera verse afectada si los resultados fueran mejorando y el SIMCE comenzara a ser percibido como un instrumento de validacin de las polticas educativas en curso. 9 Est pendiente la revisin sobre la cantidad exacta de pases que discontinuaron progra- mas de evaluacin debido a problemas de financiamiento externo o interno. ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 24 cin y sostenimiento permanente de un Instituto Peruano de Evalua- cin, Acreditacin y Certificacin Educativa. Los sistemas subnacionales de medicin de aprendizajes analiza- dos en este trabajo, por su parte, se administran enteramente desde las secretaras estaduales o distritales de educacin, y este arreglo insti- tucional parece funcionar adecuadamente en esos contextos. Solo el caso del SARESP, So Paulo, muestra un arreglo institucional dife- rente, donde el protagonismo tcnico lo tiene una institucin indepen- diente del gobierno. Quizs por la escala de estos sistemas educativos, ms pequea y ms fcilmente administrable, los sistemas de evaluacin logran mayores grados de comunicacin y trabajo orgnico con otras oficinas sectoriales, facilitando as el flujo de datos y magnificando las posibilidades de impacto en la toma de decisiones de poltica educativa fenmeno que, en muchos pases, no se da en los niveles centrales de la administracin del sector. Son sistemas, tambin, que logran mayores grados de participacin de los actores locales, en especial docentes, pa- dres de familia y organizaciones acadmicas vinculadas a la formacin docente 10 . La medicin de aprendizajes y su relacin con el desarrollo curricu- lar y de estndares Una de las preocupaciones mayores de quienes tienen a su cargo el diseo de instrumentos de medicin es que cuentan con currculos nacio- nales que ofrecen definiciones poco claras, y apenas operacionales, de lo que se espera que los alumnos puedan realizar con los conocimientos conceptuales contenidos en esos currculos. Casi siempre la matriz curri- cular para el desarrollo de los instrumentos de evaluacin se realiza me- diante el diseo de una tabla de especificaciones que permite construir los temes de las pruebas cubriendo un nmero determinado de objetivos prioritarios, aunque estos no representen la totalidad o complejidad del currculo oficial. La implicancia negativa de esta situacin es, naturalmen- te, que el marco de interpretacin de los resultados es dbil puesto que no refleja un acuerdo profesional y social sobre qu deben saber y saber hacer con sus conocimientos los estudiantes del sistema. A esto se suma, tam- bin, el problema de que a menudo se prioriza los contenidos que pueden 10 La descripcin de varios de estos casos subnacionales ha sido incluida en la segunda parte de este documento. 25 PRIMERA PARTE ser medidos con facilidad, y no necesariamente los ms importantes segn los supuestos acuerdos entre actores del sistema. Esta problemtica se agrava por la dbil comunicacin que con fre- cuencia existe entre las unidades de evaluacin y las dedicadas al diseo y desarrollo curricular a nivel nacional, por razones que incluyen, entre otras, el diferente origen profesional de sus integrantes. Esto, junto con la poca claridad de las metas de aprendizaje propuestas oficialmente, suele ser uno de los mayores obstculos para que las actividades de evaluacin sean coherentes con esas metas y puedan de hecho facilitar su consecucin. Sin embargo, en algunos pases se est avanzando en direccin del establecimiento de algunas especificaciones, consensuadas entre los mis- mos evaluadores, sobre esas expectativas de aprendizaje, aun cuando los procesos de desarrollo curricular del pas no estn alineados con ese trabajo. Visto en forma optimista, puede decirse que muchos de los pa- ses de la Regin cuentan con equipos de profesionales de la evaluacin dedicados al establecimiento o especificacin de metas curriculares cla- ras que les permitan disear pruebas ms enfocadas, a la vez que avan- zan el trabajo, y a veces el debate, sobre qu resultados de aprendizaje concretos se espera prioritariamente de los estudiantes. Ante la falta de movimientos resueltos a favor del desarrollo de estndares de contenido y desempeo acadmico, el trabajo de las unidades de medicin se cons- tituye en una instancia de avance importante en esa direccin. Algunos casos representativos de esta tendencia son Uruguay, Colombia 11 y Ecua- dor, as como los sistemas subnacionales de medicin como de Aguasca- lientes y Bogot. En Colombia, donde el currculo oficial se plantea como lineamien- tos generales y orientadores, pero con especificaciones poco claras de desempeo, se ha adelantado este tipo de trabajo en al menos tres fren- tes. En primer lugar estn las competencias en matemtica y lenguaje definidas por los equipos de evaluacin del Ministerio de Educacin Nacional, y que supuestamente habran de orientar las mediciones de un programa integral de seguimiento a realizarse anualmente entre 1996 y 2005. Este programa, sin embargo, fue discontinuado luego de una fuerte 11 Tanto el ICFES como la unidad de evaluacin del MEN, as como la Secretara de Educacin de Bogot, han realizado esfuerzos considerables por definir competencias complejas y operacionales que permitan una mejor evaluacin e interpretacin de los resultados educativos. ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 26 reestructuracin del Ministerio de Educacin. En otro frente, el ICFES defini un conjunto importante de competencias complejas de aprendiza- je en varias reas curriculares comprendidas en el Examen de Estado. Estas competencias, que permiten evaluar aprendizajes en diferentes y claramente definidos niveles de logro, ofrecen un marco de interpreta- cin de los resultados mucho ms slido del que resultara de evaluacio- nes diseadas sobre la base de una tpica tabla de especificaciones. Adicionalmente, existe un esfuerzo reciente del Ministerio de Educa- cin Nacional por establecer un conjunto de estndares nacionales en tres reas curriculares que fueron presentados pblicamente a la comuni- dad educativa y a la poblacin en general en el ao 2003. Si bien es prematuro juzgar la validez e impacto potencial de esos estndares, vale informar que su sola presentacin ya ha generado cierto nivel de debate entre los crculos profesionales disciplinares y la movilizacin de algu- nas opiniones en los medios de prensa. En Ecuador se vivi una experiencia similar a la de Colombia, aun- que en menor escala. Dada la incertidumbre sobre el currculo que final- mente habra de oficializarse a mediados de los aos noventa, el equipo tcnico de APRENDO decidi llevar a cabo la definicin de un conjunto de destrezas acadmicas bsicas que luego permitieron el diseo de ins- trumentos de medicin referidos a criterios. Las pruebas plantean cuatro temes por destreza, y se considera que al menos tres deben ser respondi- dos correctamente para considerar esa destreza alcanzada. A mediados de 2001, el Ministro de Educacin de Ecuador planeaba utilizar esta defini- cin y evaluacin de destrezas para establecer un sistema pblico de comunicacin sobre los alcances de los alumnos y del sistema, mediante la decisin sobre una lnea de corte que actuara como horizonte de logro y que pudiera ir elevndose ao a ao en la medida en que los resultados nacionales fueran mejorando. Sin embargo, las evaluaciones han sido discontinuadas luego del ltimo cambio de autoridades en la administracin sectorial y no se han realizado declaraciones sobre el uso que pueda darse en el futuro a las matrices curriculares definidas por los equipos de medicin de APRENDO. En Uruguay, donde el currculo nacional largamente vigente presenta obstculos tcnicos importantes para la definicin de matrices de refe- rencia, el proceso de elaboracin y aplicacin de pruebas ha resultado una instancia interesante de debate curricular. Concretamente, los temes de evaluacin requieren la demostracin de conocimientos y capacidades cognitivas que resultan pertinentes y deseables, pero que estn ausentes 27 PRIMERA PARTE en forma explcita en el currculo nacional. La validacin de los temes de evaluacin, y la valoracin que los docentes hacen de ellos, ha pro- movido grados importantes de reflexin sobre el currculo prescrito y sobre su prctica en el mbito escolar. Para las evaluaciones distritales de aprendizajes que realiza la Secre- tara de Educacin de la Ciudad de Bogot, se estableci tambin un conjunto de competencias alineadas con los lineamientos curriculares nacionales. Las pruebas, al igual que las del Examen de Estado nacional, ofrecen un marco conceptual explcito y definiciones operacionales para cada una de las competencias evaluadas, lo cual permite reportar y ejem- plificar diferentes niveles de desempeo estudiantil de manera ms clara que lo que permitira el uso de los lineamientos curriculares nacionales para ese fin. Desde los puntos de vista tcnico y poltico, las competen- cias bsicas propuestas pueden ser consideradas como estndares de cu- rrculo, en tanto proporcionan una herramienta de comunicacin efectiva entre todos los actores sectoriales sobre las expectativas de aprendizaje para todos los estudiantes del sistema 12 . Interesa tambin el caso del estado de Aguascalientes en Mxico donde, si bien la matriz de referencia para la evaluacin no involucra una propuesta curricular distinta a la nacional, los objetivos de aprendizaje seleccionados para la evaluacin constituyen un esfuerzo decidido por priorizar un conjunto de contenidos que se consideran bsicos y que debieran ser aprehendidos por todos los estudiantes del sistema. El valor de esta seleccin curricular radica en que todas las acciones de mejora- miento propuestas desde las escuelas y desde la Secretara de Educacin sobre la base de los resultados de las evaluaciones se realizan, con prio- ridad, en funcin del alcance de ese conjunto de saberes. Procesos simi- lares han ocurrido en los sistemas subnacionales de Paran, Minas Ge- rais y So Paulo, aunque en esos casos los estados cuentan con marcos curriculares propios desarrollados a partir de los Parmetros Curriculares Nacionales. En la mayor parte de los casos, sin embargo, convendra avanzar ms enrgicamente en la propuesta de ejemplificaciones que muestren qu deberan saber y cmo deberan desempearse acadmicamente los alumnos al trmino de algunos niveles educativos, de manera tal que los estndares no solo prescriban los contenidos de aprendizaje sino que 12 Para ms detalles sobre los procesos de desarrollo curricular y evaluacin en Bogot, consultar Ferrer, 2004. ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 28 adems arrojen luz, mediante ejemplos seleccionados de las respuestas de los estudiantes a las pruebas, sobre el tipo y niveles de desempeo que se espera de ellos. De esa manera, podra orientarse mejor no solo la actividad pedaggica y el desarrollo de mejores prcticas evaluativas en el mbito escolar, sino tambin estimular la participacin y demanda de los beneficiarios del sistema por mejores resultados de aprendizaje. En esa direccin estn dando ya pasos iniciales Argentina, El Salvador, Per y varios otros pases de la Regin. Chile est avanzando quizs con ms claridad e mpetu en esta direc- cin. Con el asesoramiento tcnico de Australia, el Ministerio de Educa- cin est elaborando estndares de contenido y desempeo y mapas de progreso en aprendizajes para estudiantes desde primer grado hasta el cuarto ao de enseanza media en las reas de Lenguaje, Matemticas, Historia y Ciencias Sociales, Ciencias (Biologa, Qumica y Fsica) e Ingls como segunda lengua. Tambin ha encargado la elaboracin de estndares para la educacin infantil. Se espera, a partir de la elabora- cin de estos instrumentos, que las pruebas nacionales puedan reportar puntajes de rendimiento referidos a logros de aprendizaje esperados, es- tablecidos claramente y con antelacin a la aplicacin de las mediciones y, por supuesto, a tiempo de influir en la enseanza. Hasta el momento, el SIMCE no ha podido reportar resultados segn criterios claros sobre cul es el nivel de rendimiento aceptable o suficiente, ni sobre cuntos alumnos lo logran. Si la medicin se vincula a logros esperados, el pun- taje podr adquirir mayor significado, toda vez que profesores, padres y alumnos podrn conocer cunto sabe el estudiante y qu debe ensear el docente para lograr las metas. La primera medicin sobre la base de logros esperados se aplicar en el ao 2006. Tipos de instrumentos de medicin: Caractersticas y validacin Cobertura general de las evaluaciones La mayor parte de los sistemas de evaluacin nacionales miden re- sultados en las reas curriculares de matemticas, lenguaje y comunica- cin, ciencias sociales y ciencias naturales. En algunos casos se evalan logros en lenguas extranjeras, en particular en ingls y francs. Comple- mentariamente, en pases multilinges como Per, Bolivia y Guatemala, se aplican pruebas traducidas en lenguas vernculas. En educacin media es comn que el rea de ciencias naturales sea evaluada diferencialmente 29 PRIMERA PARTE en biologa, fsica y qumica, mientras que el rea de ciencias sociales se evala con pruebas diferentes para historia, geografa y educacin cvi- ca 13 . Casi todos los pases que tienen sistemas nacionales de evaluacin miden logros de aprendizaje en educacin primaria y secundaria. En ambos casos, las pruebas tienden a ser aplicadas al trmino de ciclos educativos de dos o tres aos, bajo la lgica de que algunos aprendizajes no pueden lograrse al cabo de un ao acadmico, sino luego de perodos ms largos que coinciden con etapas etarias y de desarrollo cognitivo, o de secuenciacin curricular multianual. Adicionalmente, algunos pases, como Chile, Repblica Dominicana o Costa Rica, aplican pruebas de salida del nivel de educacin media o secundaria (algunas de ellas de- nominadas pruebas de Bachillerato), como requisito de graduacin o como criterio de seleccin para el ingreso a la educacin superior. Mxi- co, por su parte, aplica este tipo de pruebas tambin como instancia de graduacin de la educacin primaria y acceso a la educacin media supe- rior, aunque el uso que se da a los datos es por lo general diagnstico y no selectivo. Diseo de instrumentos Una de las primeras instancias de validacin tcnica durante el dise- o de los sistemas de evaluacin estandarizada consiste en la toma de decisiones sobre el tipo de cobertura poblacional y curricular de los instrumentos de medicin. Tales decisiones, que refieren en especial a las poblaciones y a los contenidos de aprendizaje evaluados, deben estar ligadas coherentemente al tipo de uso que se har con posterioridad de los resultados 14 . En cuanto a la cobertura poblacional, es necesario distinguir entre los pases que aplican pruebas muestrales y los que realizan mediciones censales. Ambos tipos de pruebas sirven propsitos diferentes. Como se explic anteriormente, las pruebas censales, aplicadas al universo de es- tudiantes en ciertos niveles de escolaridad, arrojan resultados por esta- blecimiento, o por alumnos, que permite establecer sistemas de incenti- 13 La educacin ciudadana, o educacin para la ciudadana y la democracia, tambin va cobrando mayor protagonismo dentro de los currculos nacionales y algunos sistemas han diseado instrumentos especficos para su evaluacin. 14 Un anlisis exhaustivo de estas instancias de validacin para el diseo puede hallarse en Ravela (Ed.), 2001. ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 30 vos o sanciones de acuerdo a los logros obtenidos (altas implicancias), o bien pueden facilitar la focalizacin de apoyos centrales a aquellos cen- tros educativos que presentan mayores necesidades y dificultades de ren- dimiento acadmico. Las aplicaciones muestrales, por su parte, apuntan a recabar informaciones sobre diferentes grupos o poblaciones del sistema, para as poder detectar problemas generales de aprendizaje y, supuesta- mente, disear estrategias integrales de apoyo a todas las escuelas y estudiantes de un determinado grupo social, o una determinada regin del pas, en concreto, aquellas que ms lo necesitan. La cobertura y anlisis de logro curricular que se pretenda realizar determinar, en especial, si las pruebas estarn referidas a normas o referidas a criterios. La seleccin de uno u otro tipo de pruebas se realiza, o debiera realizarse, de acuerdo a los fines y usos que se preten- de dar a los resultados. Las pruebas referidas a normas son aquellas que buscan comparar los logros entre diferentes grupos de estudiantes, sin pretender un anlisis muy profundo del tipo y profundidad de conoci- mientos adquiridos por los estudiantes. Las pruebas referidas a criterios, por su parte, suponen el establecimiento de acuerdos sobre cules com- petencias o capacidades acadmicas bsicas debieran lograr TODOS los estudiantes, luego definen una lnea de corte o marca de logro mnimo o suficiente, y miden si los alumnos del sistema educativo alcanzan o no esa marca, y en qu medida lo hacen, como resultado de su experiencia escolar. No se supone deba existir una correspondencia automtica entre tipos de cobertura poblacional y curricular. Las pruebas referidas a criterios pueden ser aplicadas muestral o censalmente, y lo mismo ocurre con las pruebas referidas a normas. Sin embargo, y tal como se explica con minu- ciosidad en trabajos anteriores de este Grupo de Trabajo (Ravela, ed., op. cit.) una mayor cobertura poblacional puede restringir la capacidad de los instrumentos para recabar datos de aprendizaje con mayor profundidad, y viceversa. La decisin sobre qu tipo de cobertura priorizar depende, nue- vamente, del tipo de usos que quiera darse a la informacin. Los sistemas nacionales que aplican pruebas referidas a criterios ofrecen, en general, fundamentaciones conceptuales y descripciones ope- racionales ms slidas sobre los aprendizajes y niveles de desempeo esperados. Las pruebas referidas a normas, por el contrario, se disean con frecuencia mediante un modelo de medicin que selecciona los te- mes de evaluacin de acuerdo al ndice de discriminacin que mostraron en los pilotajes de campo, pero que no refleja necesariamente la relevan- 31 PRIMERA PARTE cia de los contenidos evaluados ni asegura que estos representen el uni- verso curricular de referencia. En el caso de Uruguay, las pruebas aplicadas son referidas a crite- rios. La seleccin de los temes no se realiza de acuerdo al ndice de dificultad y de discriminacin, sino que se hace por el valor de los temes, es decir, buscando aquellos que reflejan, segn criterios profesio- nales, los tipos de capacidades que el sistema educativo considera deben ser desarrolladas antes del trmino de ciertos niveles de escolaridad. Una vez diseados los instrumentos se establece, previa consulta a expertos curriculares y pedagogos de campo, una lnea de corte, que para el caso de Uruguay es el 60% de respuestas correctas del total de los te- mes. Al reportarse los resultados, se describe el porcentaje de alumnos que alcanz esa lnea de corte, as como el porcentaje de alumnos que lograron niveles inferiores (insuficientes) de desempeo. Los Exmenes de Estado que disea el ICFES en Colombia, original- mente referidos a normas, se elaboran al presente segn un modelo crite- rial. La iniciativa para esta transicin se debi a un renovado equipo de tcnicos que aportaron nuevas visiones, y a las demandas de la poblacin estudiantil y de la comunidad educativa en general por un tipo de prue- bas que se centrara menos en capacidades simples de memorizacin de datos y ms en el desarrollo de habilidades cognitivas complejas, a la vez que reflejaran conocimientos conceptuales disciplinares ms actuali- zados. Esa actualizacin supona un mejor alineamiento con los conteni- dos de los lineamientos curriculares oficiales, con estndares internacio- nales de alfabetizacin cientfica 15 , y con concepciones formativas que ponen de relieve la necesidad de educar ciudadanos democrticos y par- ticipativos. Los exmenes evalan competencias de tipo interpretativo, argumentativo y propositivo, las cuales son consideradas modos funda- mentales de participacin y construccin de lo social (MEN-ICFES, 2000). Tambin en Colombia, la Secretara de Educacin de Bogot aplica pruebas criteriales y casi censales (80 por ciento de cobertura en los grados evaluados). Los criterios consisten en una serie de competencias definidas localmente sobre la base de los lineamientos curriculares na- cionales. Los resultados se reportan en forma de porcentaje promedio de respuestas correctas por tipos de competencia, ms especficamente por niveles de desempeo para cada una de ellas. Las respuestas abier- 15 Del ingls, scientific literacy. ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 32 tas, por ejemplo de produccin de texto, se califican y reportan segn niveles de competencia preestablecidos que guan la correccin y la interpretacin que hacen los docentes de los resultados al recibir los informes escolares. Varios de los pases que comenzaron aplicando pruebas referidas a normas han optado por realizar un reporte de resultados segn criterios definidos a posteriori. Tales son los casos de Chile, Argentina, Costa Rica y Brasil. Esto no significa que las pruebas estn estrictamente referidas a criterios, pues el modelo de medicin es normativo, pero se establecen criterios y lneas de corte para el reporte con la intencin de informar mejor a los usuarios del sistema. Esta estrategia, sin embargo, alberga ciertos riesgos para la validez de las interpretaciones puesto que los temes seleccionados segn su ndice de discriminacin pueden no representar fielmente el logro de las competencias o saberes evaluados, a menos que el espectro de temes utilizados sea lo suficientemente amplio. La cobertura poblacional de las pruebas vara de pas en pas. Cerca de nueve pases aplican o han aplicado pruebas en forma solo muestral, otros dos en forma exclusivamente censal, y ocho han experimentado con ambos tipos de pruebas. Todos los sistemas subnacionales analizados en este trabajo aplican pruebas censales. En general, se observa un im- portante grado de coherencia entre la cobertura poblacional realizada y el tipo de uso que se da a los datos. Es decir, se evita hacer inferencias de resultados sobre instrumentos que no lo permiten, aunque tambin es cierto que, en general, se evidencia una alarmante subutilizacin de los datos para el diseo de estrategias de mejoramiento de la calidad de los aprendizajes y, en oportunidades, interpretaciones insuficientemente sus- tentadas o generalizaciones no del todo vlidas. En cuanto al formato de las pruebas de aprendizaje, todos los pases utilizan en especial preguntas cerradas de opcin mltiple, y varios de ellos complementan los instrumentos con preguntas abiertas para la pro- duccin de textos, en particular en el rea de lenguaje y comunicacin. La correccin de respuestas abiertas ha presentado problemas tcnicos para algunos pases al momento de definir o utilizar criterios homog- neos de evaluacin entre correctores. En otros pases el proceso result ms exitoso y las correcciones arrojan datos pedaggicamente muy tiles para los docentes. Es digno de destacar que en muchos pases se est recurriendo ms y ms al uso de respuestas abiertas, pese a su mayor costo y dificultad de revisin y codificacin, por ser estas de mayor utilidad para la identificacin de los procesos correctos o equvocos que 33 PRIMERA PARTE siguen los alumnos en sus esfuerzos por responder a las preguntas y problemas que les plantean las pruebas y, por consiguiente, para desarro- llar propuestas para el mejoramiento de la enseanza y el aprendizaje de ciertos contenidos y el desarrollo de competencias. Validacin tcnica Por ltimo, resta mencionar la validacin tcnica que se supone debe hacerse de los temes o reactivos de las pruebas. Este es un elemento crtico y tcnicamente delicado en el proceso de construccin de instru- mentos, y sobre el cual no existen descripciones suficientemente detalla- das en los informes tcnicos nacionales. La teora de medicin interna- cional ofrece un conjunto importante de lineamientos y estndares de calidad para la validacin de los reactivos de pruebas, pero no se dispone de informacin suficiente para juzgar en qu medida esos estndares se respetan en la construccin de pruebas nacionales en Amrica Latina. Los informes tcnicos mencionan, en muchos casos, que la validacin se realiz con la participacin de docentes y expertos disciplinares, pero no se indica, por ejemplo, qu criterios especficos se utilizaron para juzgar la validez de los temes (Ej. sesgos culturales, ruido o superposicin de contenidos entre disciplinas, pertinencia curricular, comparabilidad interanual, etc.) La calidad de los instrumentos es un tema que amerita estudios en profundidad y que ser materia de anlisis en trabajos futuros de este Grupo de Trabajo. Adecuacin lingstica Tres pases de la Regin aplican pruebas en lenguas maternas origi- narias. Per lo hace en quechua y aimara, Bolivia en quechua, aimara y guaran, mientras que Guatemala ha evaluado estudiantes en las cuatro lenguas mayas predominantes, que representan al 84% de la poblacin guatemalteca. En este ltimo caso, sin embargo, no fue posible materiali- zar el operativo en su totalidad pues existe un alto grado de desercin escolar en escuelas de poblacin mayahablante. Factores asociados al rendimiento acadmico Otro aspecto destacable de casi todos los programas de medicin en la Regin es que las pruebas de logro acadmico suelen ir acompaadas ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 34 de la aplicacin de cuestionarios a diversos actores de la comunidad educativa, normalmente alumnos, docentes, directores y padres de fa- milia, para recoger informacin sobre los factores escolares y extraes- colares que pueden asociarse estadsticamente al rendimiento o des- empeo de l os est udi ant es. Los fact ores escol ares suel en ser indicadores sobre las condiciones de infraestructura, equipamiento di- dctico, recursos profesionales del establecimiento escolar, actitudes de los alumnos hacia las disciplinas evaluadas, tipos de prcticas pedag- gicas y grados de implementacin del currculo oficial en aula 16 . Los factores extraescolares estudiados, por su parte, dicen relacin en parti- cular con el nivel econmico y sociocultural de los alumnos, segn la informacin que las familias aportan sobre sus ingresos, grados de es- colaridad de los padres y hermanos del estudiante, servicios bsicos de energa y agua potable en el hogar, y ciertos recursos culturales y de informacin en el hogar, tales como TV, radio, libros, peridicos y revistas. El valor de la informacin contextual extraescolar radica en que los sistemas de medicin pueden reportar los resultados de las pruebas de acuerdo al nivel socioeconmico y cultural de los estudiantes, y de esa manera hacer afirmaciones ms justas sobre la calidad de las escuelas, de acuerdo al grado de vulnerabilidad social de los estudiantes con que trabajan. Dentro de este modelo de anlisis, destacan los esfuerzos experimentales por medir valor agregado que han realizado algunos sistemas subnacionales, como la provincia de Buenos Aires en Argenti- na. Tal modelo de anlisis permite, mediante pruebas de rendimiento aplicadas en dos momentos en el tiempo, medir el progreso en aprendi- zajes que una cohorte de estudiantes del mismo contexto socioecon- mico logra respecto de s misma al cabo de un lapso determinado. Lamentablemente, este operativo en Argentina ha sido discontinuado y no se han realizado publicaciones de los resultados obtenidos en las mediciones. 16 A pesar de los esfuerzos tcnicos en este sentido, los datos recogidos mediante estos instrumentos no siempre resultan tiles para el anlisis estadstico de factores asociados, en parte debido a que la informacin se recolecta a modo de encuestas pero no como parte de un modelo estadstico lo suficientemente slido como para permitir anlisis rigurosos posteriores, y tambin porque la medicin de prcticas pedaggicas y otras variables relevantes es de difcil realizacin a gran escala. 35 PRIMERA PARTE Formas de reporte de los resultados Se distinguen tres grupos principales de audiencias o destinatarios de los datos e informaciones producidos por los sistemas nacionales y subnacionales de medicin de aprendizajes. El primer grupo est con- formado por las autoridades polticas de gobierno, en los poderes Eje- cutivo y Legislativo, y por la alta direccin del sector educativo de cada pas. El segundo grupo de destinatarios es el pblico general, y organizaciones acadmicas y no gubernamentales. El tercer grupo est integrado por los actores educativos locales, principalmente docentes, directores y supervisores de escuelas, alumnos, padres y madres de familia. A lo largo de la ltima dcada los sistemas nacionales de medicin fueron desarrollando formatos diferentes para el reporte de los datos obtenidos con la intencin de hacerlos ms tiles segn los tipos de destinatarios que se busca informar. En general, se observa una evolu- cin hacia formas de reporte que apuntan crecientemente a la devolu- cin de resultados en los niveles escolares, y con particular nfasis en la presentacin de datos curricular y pedaggicamente tiles. Esto con- trasta con la tendencia inicial de algunos pases, sobre todo los que iniciaron sus sistemas de evaluacin a principios de los aos noventa, de producir informes generales que presentaban datos muy gruesos, en trminos de porcentajes globales de rendimiento por asignatura y comparativos entre las diferentes subpoblaciones estudiantiles evalua- das, cuya utilidad estaba en especial limitada a la seleccin de grupos o sectores en los cuales podra focalizarse algn tipo de intervencin o, lo que ha sido ms comn, para movilizar a la opinin pblica sobre el deficiente nivel de logros educacionales. Reportes a autoridades de gobierno y alta direccin sectorial Todos los pases de la Regin producen informes generales, a modo de resumen ejecutivo, sobre el rendimiento acadmico de los estudian- tes evaluados. Estos informes tienen como finalidad principal la de informar a las autoridades polticas y tcnicas superiores del sector, y as facilitar la toma de decisiones de poltica educativa sobre la base de indicadores relacionados con los procesos y los resultados de la educa- cin, que actan como complemento de los indicadores tradicionales sobre insumos educativos tales como salarios, infraestructura o equipa- ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 36 miento, u otros productos del sistema, como por ejemplo tasas de ingre- so, repitencia, desercin y graduacin. Los informes a autoridades superiores ofrecen en general una des- cripcin comparativa de resultados entre las diferentes poblaciones eva- luadas. Para tal fin, se presentan los datos de rendimiento acadmico en forma agregada, por asignatura y grado de escolaridad al nivel nacional, y luego en forma desagregada por regiones geogrficas o administrativas y por tipos de escuelas (pblicas-privadas, urbanas-rurales, unidocentes- polidocentes, bilinges-monolinges, etc.). En algunos casos, los infor- mes desagregan los datos segn el nivel econmico o sociocultural de la poblacin evaluada. La presentacin de los datos suele hacerse en forma grfica (barras, tablas) y forma narrativa muy resumida. En casi todos los casos se ofrece algn tipo de conclusiones generales, de tipo compa- rativo entre subpoblaciones pero evitando cifras especficas. En conclu- sin, aunque no en todos los casos, se presenta un conjunto de recomen- daciones sobre lneas de accin posibles para el mejoramiento de los procesos educativos o de la equidad en el acceso al conocimiento. Tales conclusiones y recomendaciones suelen basarse en el anlisis de variables escolares y extraescolares asociadas estadsticamente al ren- dimiento acadmico. Sin embargo, existen limitaciones respecto a la va- lidez de las interpretaciones que puedan hacerse sobre la base de estos anlisis. Como bien nota Ravela (2001) en su trabajo sobre informes nacionales de resultados, las interpretaciones sobre los factores asocia- dos al rendimiento pierden validez si se realizan solo en funcin de anlisis bivariados, puesto que estos no toman en consideracin otros factores que afectan simultneamente el rendimiento y moderan el efecto de las dems variables. Respecto a las informaciones de difusin pblica (sociedad civil), el escenario es menos consistente pues parece no haberse invertido tiempo y recursos suficientes para el desarrollo de formatos especficos para este fin. Los sistemas de medicin de altas implicancias, por su responsabili- dad de informar de modo sistemtico a los usuarios directos de los datos, hacen pblicos los resultados por escuela o por alumnos. Tales son los casos del SIMCE en Chile o del ICFES en Colombia. En los pases donde las pruebas no tienen consecuencias directas para los actores loca- les, los esfuerzos por presentar los resultados a la sociedad civil han sido espordicos y el acceso a los datos depende mayormente de la voluntad y capacidad de los medios de prensa por hacer una cobertura ms o menos peridica de los resultados. 37 PRIMERA PARTE Reportes a actores educativos locales Aunque resta mucho por mejorar en el diseo y difusin de resulta- dos para los actores locales, no son pocos los esfuerzos realizados en esa direccin. Esta afirmacin se basa en la variedad de formatos que han producido varios pases, muchos de ellos ofreciendo datos muy relevan- tes, as como tratamientos sustantivos de las respuestas de los estudian- tes y recomendaciones pedaggicas y curriculares para docentes y alum- nos. A cont i nuaci n se present an al gunos casos naci onal es y subnacionales a modo de ejemplo. Pruebas de salida de bachillerato e ingreso a educacin superior (altas implicancias) En los ltimos aos los pases que aplican pruebas de egreso de educacin secundaria o ingreso a educacin superior han desarrollado nuevos modelos conceptuales de evaluacin y formatos de reporte que ofrecen informaciones de inters y utilidad para docentes y alumnos, ms all de la mera transcripcin de puntajes y posiciones obtenidos para la acreditacin o seleccin de estudiantes. Los modelos conceptuales mencionados implican en algunos casos un mayor alineamiento con los contenidos curriculares de la educacin secundaria, en contraste con la medicin clsica de habilidades cognitivas, y el establecimiento de crite- rios de logro que permiten evaluar a los alumnos en relacin a metas de aprendizaje acordadas en vez de obtener simples medidas de tendencia central (pruebas normativas). En Repblica Dominicana, los informes institucionales devueltos a las escuelas presentan los resultados desagregados al nivel de curso o seccin y por rea de conocimiento. Se reportan los porcentajes de estu- diantes promovidos y aplazados, el grado de correlacin entre la califica- cin escolar final (interna) y la calificacin en prueba estandarizada, una comparacin de resultados con centros educativos semejantes, y con to- dos los centros educativos en los mbitos nacional, regional y distrital. Los alumnos, por su parte, reciben un informe individual con el puntaje obtenido por dominios o competencias, y por nivel de desempeo, en cada rea de conocimiento; se les ofrece tambin un anlisis narrativo de sus logros y dificultades principales, y una tabla comparativa de sus resultados con el promedio nacional y con el promedio de las escuelas del mismo nivel socioeconmico o zona geogrfica. Finalmente, reciben ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 38 un conjunto de recomendaciones especficas para mejorar su rendimiento acadmico, lo cual resulta en particular til para aquellos alumnos que no aprobaron el examen y deben volver a presentarse. Los informes de la prueba PAES en El Salvador tambin devuelven los resultados a los estudiantes uno a uno. En esos informes, cada estu- diante obtiene informacin sobre las competencias evaluadas en cada asignatura, el nivel de logro alcanzado en dichas competencias, el pro- medio global de rendimiento en cada una de las reas y una explicacin conceptual de los niveles de logro alcanzados. Los resultados de los Exmenes de Estado colombianos se devuelven a todos los centros educativos y a los estudiantes individualmente. Todas las escuelas medias reciben un reporte institucional donde se detalla exhaustivamente cul fue el nivel de logro de cada uno de sus estudian- tes en las diferentes reas del currculo, y cules objetivos especficos de cada rea muestran mayores avances y dificultades. Los estudiantes, por su parte, reciben un reporte individual que les permite conocer detallada- mente cules han sido sus logros y dificultades ms significativos 17 . Los casos anteriores corresponden a pruebas de altas implicancias para los alumnos, pero no para las escuelas, al menos con formalidad. Segn se desprende de las informaciones recabadas para este estudio, solo en Chile se informa pblicamente y de manera individual, por es- cuela, los resultados de la prueba de ingreso a la educacin superior 18 . En ese caso, y dado que algunos de los padres y alumnos tienen la posibilidad de escoger el colegio pblico, privado o subvencionado de su preferencia, los resultados institucionales pueden acarrear consecuencias directas para las escuelas secundarias en trminos de captacin de matr- cula. Devolucin con fines de mejoramiento curricular y pedaggico (ba- jas implicancias) La mayor parte de los sistemas de medicin de aprendizajes que realizan devoluciones de resultados sin consecuencias directas para las 17 Este tipo de reportes puede considerarse como una instancia importante de acercamiento al tipo de instrumentos y formas de reporte que propone el movimiento de estndares. 18 Hubo intentos de hacer pblicos los resultados comparados en algunos pases, pero no se consolidaron como estrategias permanentes de difusin de resultados, en gran parte debi- do a la reaccin de la comunidad educativa en contra de la publicacin de rankings institucionales. 39 PRIMERA PARTE instituciones o individuos, lo hace con la intencin de ofrecer insumos de informacin que permitan a los actores locales reflexionar sobre el desempeo de los estudiantes y elaborar estrategias de mejoramiento ante las dificultades observadas. Algunos pases y sistemas subnaciona- les han desarrollado formatos elaborados con diligencia para estos pro- psitos, entre los cuales merecen mencin los de Uruguay, Bolivia, Aguascalientes, Minas Gerais, Bogot, Paran y So Paulo. En Uruguay, la informacin desagregada por escuelas es entregada confidencialmente a cada establecimiento, presentando los resultados de sus estudiantes y los de estudiantes en otras escuelas de contexto so- cioeconmico semejante. La presentacin de datos sobre niveles de sufi- ciencia en el desempeo acadmico se basa en una lnea de corte (nivel satisfactorio) equivalente a la respuesta correcta al 60% del total de los temes, y en el porcentaje de alumnos que alcanza ese nivel de rendi- miento. Los informes sobre 6 grado de primaria presentan tambin com- paraciones interanuales, cubriendo perodos de tres aos, sobre el pro- greso de la poblacin estudiantil en el logro de las competencias evaluadas. Tales datos se expresan en forma de puntos porcentuales de diferencia entre los resultados de las aplicaciones comparadas (ao 1 y ao 3) para el total de la poblacin evaluada, y en forma desagregada por tipo de contexto socioeconmico. Quizs el valor ms importante de estas devoluciones radica en la presentacin de una seleccin de temes de la prueba para que puedan ser reaplicados en forma autnoma por los docentes durante el ao escolar, siguiendo las pautas de correccin expli- cadas en los informes. De esa manera, las escuelas no participantes de la muestra nacional pueden obtener una medida ms objetiva del nivel de desempeo de sus alumnos, a la vez que acceden a nuevas formas de evaluacin, a la posibilidad de realizar reflexiones ms sistemticas so- bre el currculo y sobre los procesos de enseanza-aprendizaje y, asimis- mo, como se ver ms adelante, a oportunidades de desarrollar iniciati- vas y recibir apoyo para mejorar sus planes y programas institucionales. El SIMECAL de Bolivia, tanto para el caso de las pruebas censales como las muestrales, devuelve los resultados a las escuelas por medio de un informe institucional sobre el rendimiento de sus alumnos que incluye el puntaje promedio institucional, una descripcin operacional de los niveles de logro definidos para cada rea y el porcentaje de alumnos de la escuela ubicados en cada nivel. Luego presenta una descripcin de las fortalezas y debilidades del conjunto de alumnos por cada eje temtico en cada rea curricular. Tambin distribuye un folleto con anlisis de ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 40 temes seleccionados y propuestas metodolgicas para mejorar los resul- tados en relacin a esos temes. Para el caso de los bachilleres egresan- tes, se ofrece un informe individual por alumno con su desempeo en cada eje temtico evaluado por rea curricular. Para el conjunto de es- cuelas y de equipos tcnicos locales, se distribuye un folleto con indica- dores de eficacia escolar segn los datos recogidos con las pruebas y cuestionarios de contexto. Los factores asociados al rendimiento que se publican refieren a las caractersticas del alumnado y sus familias (edu- cacin previa, NES familiar y actitudes, vivienda), procesos pedaggicos y recursos materiales escolares. Si bien se cuenta con informacin sobre las caractersticas socioeconmicas y culturales de las familias, no se han definido estratos especficos que permitan desagregar los resultados segn esta variable. En el estado de Aguascalientes, en Mxico, los informes de las pruebas estaduales se reportan por niveles de desempeo logrados en cada rea. Los niveles definidos se corresponden con una particin en cuartos de una escala de 1 a 100 y se clasifican en crtico e insuficiente (no dominio), y en aceptable y deseable (dominio). Los resultados hacia el fin de cada ao acadmico se presentan en trminos de ganancia educativa, en una esca- la de -4 a 4, dependiendo de los avances o retrocesos que muestra la comparacin entre pruebas inicial y final. Por ejemplo, si un alumno co- menz el ao en un nivel insuficiente y culmin el ao en un nivel desea- ble, la ganancia, segn la frmula utilizada, se calcula en 3 puntos sobre 4. Si el resultado fue inverso, es decir, que comenz en un nivel deseable y decreci a un nivel insuficiente, la ganancia se expresa en forma negati- va, esto es, como -3 puntos en la escala. Estos datos se presentan agrega- dos al nivel estadual, y desagregados a los niveles de zona educativa, escuela, grupo (curso) y alumno en forma individual. En los informes que distribuye la Secretara de Educacin de Bogot a cada escuela, los resultados para cada asignatura se reportan desagre- gados por competencias, por niveles de desempeo alcanzados para cada una de ellas, y se expresa el valor esperado (expectativa oficial) y el valor promedio logrado por los alumnos del plantel en una escala de 0 a 306. Se ofrece adems un anlisis de patrones de error de una seleccin de temes (para el conjunto de escuelas), y una serie de materiales con recomendaciones pedaggicas sustentadas en los datos presentados. En Minas Gerais, tambin cada escuela recibe un informe individual. Los informes presentan grficos separados para cada grado y rea curri- cular evaluada, y cada uno de ellos muestra el porcentaje de alumnos que 41 PRIMERA PARTE se ubica en cada uno de los tres niveles de desempeo (proficiencia) predeterminados (crtico, intermedio y suficiente). Los porcentajes se desagregan al nivel de las diferentes capacidades que conforman cada una de las competencias evaluadas en cada rea curricular. Adems, se ofrece un grfico de barras comparando el desempeo promedio de la escuela respecto del municipio correspondiente, la superintendencia re- gional y el estado. Los informes se complementan con una revista expli- cativa para orientar a los profesores en la lectura e interpretacin de los datos. En los estados de So Paulo y Paran, adems de presentar datos y anlisis de resultados comparables a los de los casos anteriores, se pro- mueve la participacin de las escuelas en la elaboracin de los informes. Para esto, cada centro educativo se responsabiliza por el procesamiento primario de los datos (conteo de respuestas, estadsticas descriptivas b- sicas, etc.) segn el formato y las pautas indicadas desde la unidad de evaluacin de la Secretara. Posteriormente, esos datos son elevados a la administracin central donde son procesados de nuevo y verificados. Por ltimo, son devueltos a las escuelas con un nuevo formato y con guas metodolgicas para la interpretacin de los resultados. En el caso de Paran en particular, cada escuela tiene a su cargo la tarea de elaborar un boletn escolar que incluye, adems de los datos de las evaluaciones de aprendizajes, un conjunto de datos institucionales complementarios, tales como tasas de aprobacin, reprobacin y desercin, y el perfil profesio- nal de los docentes. Todos esos datos tambin son reprocesados por la unidad de medicin y devueltos a las escuelas en un nuevo formato que permite la comparacin de los resultados y del perfil institucional con los de las dems escuelas del municipio y del estado en su totalidad. Informes especficos para padres de familia Este grupo de destinatarios de la informacin sobre aprendizajes es, en casi todos los pases de la Regin, el menos atendido por los sistemas de medicin y evaluacin. Quizs la razn principal que justifica esta debilidad es la creencia por parte de las autoridades polticas sectoriales que este tipo de informaciones puede conducir a las comparaciones y a la competencia entre escuelas por captar matrcula. Otras de las razones que a menudo se esgrimen es que los padres de familia no estn lo suficientemente preparados para comprender las informaciones que se podran ofrecer, y que por lo tanto no se justifica el esfuerzo de difusin ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 42 de los resultados entre estos actores del sistema. Ambas razones son muy debatibles, por supuesto, pero hasta el momento ese debate no parece tener lugar en la agenda sobre evaluacin y usos de la informacin sobre aprendizajes. En la mayor parte de los casos nacionales que tienen pruebas censa- les se solicita a las escuelas que compartan la informacin con los padres de familia, pero se lo hace en forma de recomendacin, sin ningn tipo de prescripcin normativa. El nico pas que facilita sistemticamente a las familias el acceso a los resultados de su escuela es Chile, y lo hace en el marco de un esquema de libre seleccin de centros. Fuera de este tipo de esquema, destacan los casos subnacionales de Paran y Minas Gerais. En el primero, grupos de representantes de padres de familia son invita- dos regularmente a los encuentros estaduales de capacitacin docente, y all son informados sobre los resultados de las pruebas anuales y sus implicancias en trminos de las acciones de poltica educativa propues- tas. En el caso de Minas Gerais, no todos los padres de familia reciben informes de los resultados, pero s los representantes de este grupo en los gobiernos escolares de cada institucin. Estos representantes tienen acce- so a los informes de resultados, y de su voluntad depende el que sean o no socializados entre los dems padres. Seguimientos cualitativos Adems de los informes regulares mencionados anteriormente, algu- nos pases realizan seguimientos cualitativos de los procesos institucio- nales y pedaggicos que pueden explicar los resultados obtenidos por los estudiantes. La Unidad de Curriculum y Evaluacin del Ministerio de Educacin de Chile, donde funciona el SIMCE, cuenta con un equipo especial de seguimiento que aplica encuestas y realiza observaciones escolares para llevar un mejor registro sobre la evolucin de la imple- mentacin y alcance de los nuevos marcos curriculares, as como sobre el uso de textos escolares de distribucin masiva y estilos pedaggicos de los docentes. Los resultados de esas indagaciones se presentan con preferencia en forma de porcentajes de respuestas a las encuestas realiza- das. Dado que la muestra de escuelas participantes en esos seguimientos no es estadsticamente representativa, los datos no se presentan como asociaciones o correlaciones entre variables de proceso y resultado, sino como tendencias que deben ser estudiadas en mayor profundidad en prximos operativos nacionales. Hasta donde sabemos, estas informacio- 43 PRIMERA PARTE nes son de uso interno para el diseo de polticas curriculares desde el Ministerio, pero no se han divulgado entre miembros o instituciones de la comunidad acadmica. En Mxico, la Direccin General de Evaluacin de la SEP tambin realiz en aos anteriores seguimientos cualitativos sobre las escuelas participantes en la muestra nacional. Los resultados de esos seguimien- tos fueron devueltos a las escuelas mediante informes que describen las caractersticas organizacionales y pedaggicas de las escuelas que mues- tran mejoras de sus resultados en el tiempo, as como de aquellas cuyo rendimiento ha sido decreciente. Tambin se ofrecen orientaciones meto- dolgicas para replicar esas investigaciones en cada centro, a modo de autoevaluacin, y se presenta un conjunto de recomendaciones pedaggi- cas y organizacionales para elevar la calidad de los aprendizajes. Difusin y uso de los resultados de las mediciones Este aspecto constituye uno de los problemas centrales de la evalua- cin de aprendizajes en la Regin. Dado que los sistemas nacionales de medicin se han creado con la explcita intencin de hacer ms transpa- rentes los resultados de la gestin y de la prctica educativa en cada pas, y proveer a los profesionales del sistema herramientas tiles para el mejoramiento de sus prcticas, las administraciones nacionales de educa- cin han asumido para s una responsabilidad de gran envergadura que no siempre se cumple en tiempo y forma adecuados. Como se explic antes, el uso de los resultados de las pruebas es variado y puede clasificarse, a grandes rasgos, en usos de altas o bajas implicancias, dependiendo del tipo de consecuencias o grado de respon- sabilizacin directa que implique para los actores locales o centrales del sistema. El tipo de difusin que se planea dar a los datos, as como las estrategias para lograrlo, depende bsicamente del tipo de impacto que se espera esos datos tengan. Idealmente, se espera que, cualesquiera sean las audiencias y las estrategias para llegar a ellas, los resultados de las evaluaciones dejen de ser simplemente datos para transformarse en in- formacin sustantiva sobre los logros de aprendizaje de los alumnos. Esto significa que quienes tienen a su cargo la difusin de los datos deben asumir la responsabilidad de interpretarlos, reorganizarlos y pre- sentarlos de una manera clara y diferenciada de acuerdo al uso que se supone diferentes audiencias darn a la informacin. En otras palabras, los datos se transforman en informacin cuando comunican a los actores ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 44 del sistema un mensaje intencional sobre los aprendizajes logrados, idealmente de acuerdo a un marco conceptual que permita interpretar los resultados en relacin a un conjunto de criterios claros sobre los aprendi- zajes y desempeos esperados de los estudiantes. Otro factor que afecta la posibilidad de impacto de los datos es el tiempo de devolucin de los resultados, en trminos de lapsos y periodi- cidad de entrega. En otras palabras, el uso que los actores educativos puedan dar a los datos se ver ms estimulado si los datos de las evalua- ciones son devueltos poco tiempo despus de las aplicaciones, y si las entregas se realizan con periodicidad. Estos factores pueden contribuir al afianzamiento del sistema de evaluacin, en tanto se construya una de- manda creciente de los datos en forma oportuna, es decir durante los momentos clave para el diseo de polticas de mejoramiento educativo, o de planificacin de la cobertura y entrega curricular en el mbito escolar. Varios de los sistemas de evaluacin de la Regin han logrado realizar las aplicaciones y devolver los resultados en ciclos constantes de ejecu- cin, generalmente anuales o bianuales. En otros casos, las aplicaciones y los esfuerzos de devolucin han sido espordicos, o bien constantes durante un tiempo y luego discontinuados. De todas maneras, no es posible afirmar que una mayor periodicidad y constancia impliquen de manera inevitable mayor impacto, pues este depende de otros factores tambin importantes, tales como la participa- cin de los actores locales en el proceso evaluativo, la calidad de los informes, o la voluntad poltica por tomar decisiones informadas y no meramente intuitivas. Asimismo, es importante distinguir entre periodi- cidad y frecuencia de evaluacin y entrega de resultados. Por ejemplo, la evaluacin y entrega anual de resultados no garantizan por s mismas un mayor impacto en el sistema educativo, pues este ritmo de trabajo suele dejar menos margen de tiempo a los equipos tcnicos de medicin para realizar anlisis sustantivos de los datos y elaborar mejores informes. Es as que varios sistemas de evaluacin regionales han decidido disminuir la frecuencia de aplicaciones, pero manteniendo la periodicidad, para poder ofrecer mejores insumos de informacin a sus audiencias. Un ejemplo de ello sera el caso de Per, que modific su plan original de realizar operativos nacionales en varios grados y disciplinas cada dos aos, ampliando el ciclo a tres. Tambin Chile ha modificado la periodi- cidad de sus pruebas, intercalando grados y materias de manera de per- mitir un mayor tiempo y recursos para el anlisis de datos y el mejora- miento del sistema en general. 45 PRIMERA PARTE Uso para toma de decisiones de poltica o para el diseo de programas de mejoramiento 19 En el nivel nacional, son pocos los pases que han realizado un uso especfico de los datos de las evaluaciones de aprendizaje para la toma de decisiones de poltica educativa. Entre ellos puede mencionarse a Chile, Mxico y Uruguay. En Chile, el uso de las evaluaciones SIMCE para la focalizacin de polticas de mejoramiento se materializa en al menos tres frentes de accin: 1) El uso de los resultados como uno de los dos indicadores ms importantes en la seleccin de las escuelas que ingresan al Programa de las 900 escuelas (P-900, actualmente atendiendo alrededor de 1.500 ins- tituciones); 2) La utilizacin de los datos para la asignacin de fondos concursables para los Proyectos de Mejoramiento Educativo en las es- cuelas; y 3) El uso de los datos como uno de los indicadores principales para otorgar incentivos docentes mediante el SNED, Sistema Nacional de Evaluacin del Desempeo de los Establecimientos Educacionales. En Mxico, recientemente se ha impulsado un programa de mejora- miento escolar en centros educativos urbano-marginales denominado PEC, Programas de Escuelas de Calidad 20 , y varios de los estados han realizado la seleccin de las escuelas participantes en el Programa en funcin del contexto socioeconmico en el que laboran, as como de sus resultados en pruebas de aprendizaje nacionales o estaduales. Esas mis- mas pruebas son utilizadas, entre otros indicadores y evaluaciones de aprendizajes diseadas ad hoc, para monitorear el progreso de las escue- las participantes. Las evaluaciones en Uruguay, por su parte, fueron utilizadas hace poco para fundamentar la continuacin y ampliacin de un programa de equidad para Escuelas de Tiempo Completo. Por el tipo de modelo de evaluacin que se realiza en este pas, los datos sirvieron para demostrar que este tipo de escuelas logran mejores resultados que otras en contex- tos socioeconmicos semejantes. 19 Quedan excluidos de esta seccin los usos de la evaluacin para la acreditacin o selec- cin de estudiantes, o para la seleccin de escuelas por parte de estudiantes y familias. 20 Este programa se coordina federalmente con la participacin de equipos de investigacin en cada uno de los estados, y consiste en la indagacin cualitativa en escuelas sobre los aspectos institucionales que favorecen o dificultan los resultados acadmicos de los estu- diantes. El Programa requiere que las escuelas realicen una propuesta de mejoramiento, a la cual se le da seguimiento en forma de anlisis cualitativo durante su ejecucin. ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 46 En el nivel subnacional, la toma de decisiones de poltica en funcin de los resultados de las evaluaciones es un fenmeno ms extendido, especialmente para el diseo de programas de capacitacin pedaggica y de gestin escolar. Destacan en este sentido los sistemas de evaluacin de Bogot, So Paulo y Paran, que en todos los casos han puesto en marcha programas integrales y continuos de capacitacin docente y de directivos escolares para elevar el rendimiento acadmico demostrado por los alumnos en las pruebas estandarizadas locales. En Bogot, adicionalmente, se reporta que muchas de las decisiones sobre inversin en infraestructura escolar, programas alimentarios esco- lares y otros insumos se realizan teniendo en cuenta los resultados de las evaluaciones de aprendizaje. De la misma manera, los datos son utiliza- dos para seleccionar y monitorear a las escuelas privadas que albergan matrcula pblica mediante subvenciones per cpita. Uso pedaggico local Los sistemas de medicin de aprendizajes en Amrica Latina que buscan ofrecer herramientas pedaggicas tiles a las escuelas para el mejoramiento del desempeo acadmico de los estudiantes lo hacen, principalmente, mediante la elaboracin de informes analticos de los resultados de cada aplicacin de pruebas y cuestionarios de contexto, y mediante la devolucin de resultados en formas de talleres informativos y de discusin. En la seccin anterior se explic con cierto grado de detalle algunos de los casos nacionales y subnacionales donde se ha puesto especial nfasis al diseo y distribucin de ese tipo de informes escolares. En cuanto a la devolucin presencial de los datos y la discusin sobre sus implicancias pedaggicas, valgan como ejemplos los casos de Uruguay, Colombia (Examen de Estado), y Bogot. En Uruguay los resultados se entregan con frecuencia en el contexto de talleres de presentacin en los que se procura generar discusin entre los profesionales en torno a los resultados sobre diferentes temes de la prueba, e incluso en torno a la validez de esos temes. El trabajo de devolucin se ha orientado no solo al mejoramiento de los puntajes sino a que esos puntajes sean el reflejo de una concepcin pedaggica dife- rente y renovada. Luego de las evaluaciones censales o muestrales se distribuyen manuales de interpretacin junto con una copia de la prueba completa que se aplic. De esta manera se permite que los docentes 47 PRIMERA PARTE reapliquen la prueba administrada centralmente y que practiquen con individualidad el ejercicio de correccin. Tener posesin sobre esas pruebas les permite tambin disear instrumentos similares en forma independiente. Para el equipo de medicin es importante que los do- centes reciban la devolucin de los datos poco tiempo despus de la aplicacin, lo cual por lo comn demora unas dos semanas. Para la devolucin de los resultados del Examen de Estado, en Colombia, se han realizado talleres de capacitacin en interpretacin de resultados para 1.400 colegios. Segn informaciones recogidas en 2001, se planeaba una extensin del programa a 6.600 colegios ms de todo el pas. Los talleres se centran en la capacitacin para la interpretacin de los informes institucionales y para la identificacin de fortalezas y debilidades de cada centro educativo. Los talleres du- ran dos horas y se ofrecen a representantes de 80 colegios por vez. Antes de la aplicacin del nuevo modelo de evaluacin referido a criterios, se realizaron 12 talleres con representantes de 11.000 cole- gios para explicar a los docentes el nuevo marco conceptual y la estructura de las pruebas. En el sistema de medicin subnacional de Bogot, la difusin de los resultados comienza antes de la aplicacin de las pruebas, en forma de explicacin y sensibilizacin a los docentes. En principio, antes de la primera aplicacin general, se realiz una primera aplica- cin piloto para motivar y generar inters. Una vez obtenidos los resultados de las primeras pruebas generales, se realizaron talleres y seminarios de devolucin e interpretacin de resultados para 6.000 docentes (por cada escuela del distrito participa el director, 2 3 docentes y el coordinador acadmico) 21 . Para presentar los resultados a la comunidad educativa y civil se utilizan videos y equipos de DVD. En cuanto al uso especfico de los datos obtenidos de las pruebas, la Secretara de Educacin de Bogot ha diseado dos programas de intervencin. Uno se denomina Nivelacin para la Excelencia, me- diante el cual se brinda apoyo en la gestin, en la infraestructura y en los recursos pedaggicos a las escuelas de ms bajos resultados. Para estas intervenciones, especialmente en el componente pedaggico, se 21 El alcance y resultado de los seminarios se evala con encuestas sobre la satisfaccin del pblico. Segn encuestas recientes, los beneficiarios de los cursos demuestran altos nive- les de conformidad pues logran comprender el contenido de los reportes. ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 48 contratan universidades como agencias oferentes de la capacitacin, quienes trabajan in situ con los docentes y directores. La capacita- cin se realiza mediante visitas peridicas a las escuelas durante un ao completo. En cuanto al efecto de estas capacitaciones, y segn las mediciones ltimas, las escuelas participantes crecieron un 35% en ren- dimiento acadmico entre 1998 y 2000, cuando el promedio para todo Bogot solo creci en 11 puntos porcentuales. El otro programa de intervencin es el de Accin para la Excelencia, a travs del cual las escuelas pblicas con resultados ms altos (decil superior) comparten experiencias entre ellas, se recoge informacin sobre sus prcticas y luego se realiza y distribuye a las escuelas publicaciones sobre esas experiencias. Uso de altas implicancias Algunos de los casos de evaluacin de altas implicancias fueron ex- plicados en la seccin anterior, principalmente los que regulan el ingreso a la educacin superior o la graduacin de los alumnos de la educacin bsica secundaria. Otros sistemas de evaluacin son utilizados tambin para el establecimiento de incentivos docentes, para la adjudicacin de recursos financieros extraordinarios, o para monitorear y regular la pro- mocin de los estudiantes a niveles superiores dentro de la escolaridad bsica. Tanto Chile como Mxico hacen uso de los resultados de las evalua- ciones a estudiantes como indicadores complementarios para la asigna- cin de incentivos docentes. En el caso de Chile, se hace mediante el SNED, Sistema Nacional de Evaluacin del Desempeo de los Estableci- mientos Educacionales Subvencionados, que otorga una bonificacin anual al equipo docente de las escuelas que logran, entre otros desempe- os profesionales, elevar el rendimiento acadmico de sus estudiantes respecto de mediciones anteriores. Los resultados del SIMCE tambin se utilizan para seleccionar y monitorear los logros de las escuelas solicitan y obtienen financiamiento para los PME, Proyectos de Mejoramiento Educativo, un sistema de fondos concursables para desarrollar y ejecutar propuestas de mejoramiento institucional. En Mxico, los docentes pue- den postularse voluntariamente al programa de Carrera Magisterial, un sistema de incentivos salariales que tambin utiliza los resultados de las pruebas de aprendizaje nacionales como uno de los indicadores de des- empeo profesional. 49 PRIMERA PARTE En cuanto al uso de los resultados para promocin de estudiantes, se registra el caso del estado de So Paulo, donde los datos censales del SARESP constituyen un indicador determinante para acceder al ciclo siguiente de escolaridad bsica. Un desempeo insuficiente en las prue- bas del SARESP (menos de 50% de acierto) puede ser revisado por las autoridades si el rendimiento del estudiante ha sido muy bueno durante el ciclo y se presume que por alguna razn especial no pudo rendir al nivel de su potencial el da de la aplicacin. En ese caso, el alumno tiene una segunda oportunidad para presentarse a la prueba 22 . Responsabilizacin poltica Con frecuencia se cita en los documentos oficiales de evaluacin educativa el propsito de hacer de los resultados de las mediciones una instancia de responsabilizacin poltica y administrativa por los avances y logros del sistema. Sin embargo, en la prctica son escasos los ejem- plos de autntica rendicin de cuentas del Estado frente a la sociedad y ante la comunidad educativa por los resultados de la educacin en trmi- nos de desempeo acadmico. Existen algunas razones legtimas para no difundir masivamente los resultados de aprendizaje en forma de indica- dor crtico sobre el xito de la administracin sectorial. Entre esas razo- nes, vale mencionar que los resultados se ven condicionados por factores que no pueden ser intervenidos por el sistema educativo, as como el hecho de que los datos obtenidos en un momento en el tiempo reflejan los resultados de un proceso educacional ocurrido durante ciclos ms extensos de lo que dura por lo normal un perodo presidencial o de gestin ministerial. Aun as, los modelos evaluativos ms modernos tie- nen la capacidad de medir el progreso de los aprendizajes de ao en ao, controlando por las variables extraescolares. Sin embargo, son varios los pases de la Regin en que los resultados raramente se ponen a disposi- cin en formatos o medios que faciliten el escrutinio pblico. Al menos dos casos escapan a esta tendencia. Uno es el de Chile, donde los resultados publicados cada ao por el SIMCE suelen tener una alta repercusin poltica, la cual se manifiesta principalmente en forma de artculos acadmicos y de opinin que utilizan los resultados y las 22 Al momento de esta publicacin, el uso de las evaluaciones del SARESP con fines de bonificacin salarial y promocin de estudiantes estaba siendo reconsiderado por las autoridades de la Secretara de Educacin. ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 50 bases de datos de las evaluaciones para cuestionar los logros de la refor- ma educacional en trminos de calidad y equidad. Tambin destaca el caso de la Secretara de Educacin de Bogot, que hizo pblicas sus metas de lograr, para el ao 2004, que el conjunto de escuelas distritales llegara a los 180 puntos de rendimiento promedio (en una escala de 0 a 306), y con un rendimiento global mnimo de 100 puntos en cada centro educativo. Si bien aun no se dispone de informa- cin sobre el logro de estas metas o sobre sus repercusiones polticas, vale mencionar el caso por ser el nico sistema que explicit sus objeti- vos de poltica educativa en trminos de logros de aprendizajes. Pruebas internacionales comparadas de aprendizaje Otra instancia importante en el desarrollo de los sistemas nacionales de medicin en Amrica Latina ha sido, en los ltimos aos, la participa- cin en pruebas internacionales de logros de aprendizaje. Las pruebas internacionales comparadas son instrumentos de medi- cin estandarizados que se aplican en varios pases simultneamente, en grados o grupos etarios seleccionados, y que recogen informacin sobre logros de aprendizaje conceptual y procedimental en diferentes discipli- nas, y sobre los factores contextuales que se presume influyen en el logro acadmico de los estudiantes. Las pruebas suelen incluir temes de opcin mltiple, preguntas abiertas y/o demostraciones prcticas, como por ejemplo de laboratorio en el caso de las ciencias naturales. Entre los factores contextuales ms importantes que suelen estudiarse aparecen las caractersticas familiares y socioculturales de los alumnos, la infraestruc- tura escolar, la preparacin acadmica de los docentes, la cobertura cu- rricular efectuada en clase en las reas disciplinares evaluadas y las actitudes y valores de los alumnos con relacin a esas reas (Ferrer y Arregui, 2002). Las pruebas son diseadas y coordinadas por agencias internaciona- les de evaluacin, y con cierto grado de participacin por parte de las unidades de medicin de la calidad educativa de los pases. Algunas de estas agencias son privadas e independientes, de un perfil bsicamente acadmico, tales como la IEA (Asociacin Internacional para la Evalua- cin del Logro Acadmico), o ETS (Servicios de Evaluacin Educacio- nal). Otras agencias son intergubernamentales y en ellas participan las autoridades polticas o tcnicas de administracin y evaluacin educativa de los pases miembro. Ejemplo de estas ltimas son la OCDE (Organi- 51 PRIMERA PARTE zacin para la Cooperacin y el Desarrollo Econmico), el Laboratorio Latinoamericano para la Evaluacin de la Educacin (LLECE), depen- diente de UNESCO-OREALC, o SACMEQ (Consorcio de frica del Sur para la Evaluacin de la Calidad Educacional). Las pruebas de la IEA o de la OCDE son de cobertura mundial, mientras que otras, como las del LLECE o SACMEQ, son de cobertura regional. En la actualidad existen no menos de 10 pruebas internacionales que miden el logro estudiantil en diferentes reas de conocimiento. Los pases que ya han participado, o estn participando, en una o ms pruebas internacionales de aprendiza- je son Argentina, Bolivia, Brasil, Chile, Colombia, Cuba, Honduras, Mxico, Paraguay, Uruguay, Repblica Dominicana, Per y Venezuela. La experiencia de participacin ha sido variada, y los pases se han beneficiado en mayor o menor grado de esa participacin dependiendo de las capacidades tcnicas con que ingresaron al proyecto, y tambin de las condiciones polticas que acompaaron el proceso. Esas condiciones, concretamente la voluntad poltica de hacer pblicos los resultados y la estabilidad de las autoridades polticas y tcnicas del sector, han deter- minado con vehemencia el tipo de impacto que tienen los resultados sobre las decisiones de poltica y las prcticas educativas en las escuelas. En general, ese impacto en Amrica Latina ha sido muy dbil, debido tambin a la falta de estrategias adecuadas de comunicacin y utilizacin de los resultados, as como a la insuficiente definicin de los propsitos y objetivos de las evaluaciones, como se vio anteriormente. III. DISCUSIN Y SNTESIS Teniendo en cuenta las informaciones presentadas en este informe sobre casos nacionales y subnacionales, pueden adelantarse algunas con- clusiones sobre los avances y dificultades ms significativos en materia de medicin y evaluacin de la calidad educativa en Amrica Latina. Un primer aspecto considerado en este estudio ha sido el de la deter- minacin clara y consensuada de los objetivos de los sistemas nacio- nales de medicin. Concretamente, a quines se evala, con qu fines y qu tipos de pruebas se aplican para lograrlos. En general, y de acuerdo a los ejemplos revisados, pareciera haberse logrado bastante coherencia entre las decisiones sobre las poblaciones a ser evaluadas y los tipos de decisiones de poltica y pedaggicas que se busca informar por medio de las evaluaciones. Por ejemplo, se aprecia que los pases que aplican ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 52 pruebas muestrales solo pretenden entender algunos aspectos del rendi- miento del sistema, tanto como para disear algunas medidas generales de poltica, o bien promover la responsabilizacin poltica por el mejora- miento de los aprendizajes (bajas implicancias). Por otro lado, los siste- mas que aplican evaluaciones censales apuntan a dos tipos de objetivos principales. Por un lado, promover la responsabilizacin escolar, profe- sional y estudiantil mediante sistemas de incentivos o desincentivos, o mediante mecanismos de acreditacin, que afectan directamente a los actores locales del sistema educativo (altas implicancias). Por el otro, ofrecer insumos de informacin en extremo desagregados sobre desem- peo estudiantil para facilitar la planificacin de estrategias puntuales de intervencin curricular y pedaggica. Sin embargo, persiste aun la nece- sidad de revisar ms profundamente en cada pas si las decisiones que se han tomado en esta materia hasta el momento de verdad reflejan las necesidades pedaggicas y de desarrollo curricular del sistema en toda su intensidad y diversidad. Especficamente, convendra revisar en cada caso si se prefiere lograr con cada evaluacin una mayor cobertura curri- cular o una ms amplia cobertura poblacional, asumiendo que el aumen- to en un tipo de cobertura restringe las posibilidades de amplitud en la otra 23 , y que ambas alternativas serviran propsitos diferentes. En segundo lugar, merece destacarse el ensayo sobre diferentes al- ternativas institucionales para la organizacin y administracin de las unidades de medicin en los diferentes pases. Los tipos de organi- zacin ms frecuentes son las unidades dependientes directamente de los Ministerios de Educacin, los organismos semiautnomos (institutos), y las universidades contratadas por el gobierno. Como se explic antes, no es posible afirmar que una forma de organizacin sea ms adecuada que otras. La eleccin depende del contexto poltico y de las capacidades tcnicas y financieras para la evaluacin a gran escala en cada pas. El avance radica, en especial, en la experimentacin de formas alternativas de gestin de la evaluacin, lo cual indica que existe una fuerte voluntad de sostener y perfeccionar los sistemas de medicin, aun cuando sus impactos en algunos pases no hayan sido de gran magnitud hasta el presente. Vale destacar que la administracin de los sistemas de medi- cin desde los rganos propios del Estado, es decir sin mediacin de institutos u organizaciones semiautnomas, parece ser ms viable y efec- tiva en los sistemas educativos subnacionales (estados, provincias). Sin 23 Ver captulo 1 de Ravela et al. (2000). 53 PRIMERA PARTE embargo, algunos sistemas nacionales han logrado altos grados de insti- tucionalizacin siendo administrados directamente por los ministerios de educacin. En tercer lugar, se aprecia un esfuerzo considerable por establecer expectativas ms claras y operacionales sobre el tipo de competen- cias acadmicas que han de desarrollar los estudiantes, y que sern luego evaluadas. Los mayores esfuerzos en este sentido han estado en manos de los equipos mismos de evaluacin, los que ante la falta de referentes curriculares claros (Ferrer, 1999; 2004) han optado por propo- ner marcos conceptuales e indicadores de logro ms especficos que faci- liten una interpretacin sustantiva de los resultados de las mediciones 24 . El aspecto ms dbil observado en este terreno es el de la escasa vincula- cin que aun existe entre los equipos de evaluacin y los equipos de desarrollo curricular en las sedes ministeriales del sector. Es de esperar que, en la medida en que otros grupos de profesionales, como los de medicin, continen proponiendo alternativas ms elaboradas en cuanto al tipo de expectativas de aprendizaje a ser evaluadas, mayor ser la motivacin para que los equipos tcnicos de currculo participen con sus propias propuestas de actualizacin y especificacin curricular. En cuarto lugar, se observa que la forma en que se reportan los datos recogidos durante las mediciones no siempre resultan totalmente tiles a las audiencias para quienes estn destinados. En particular, de- ben mencionarse los casos de los pases que informan sobre los logros de diferentes poblaciones sin tener en cuenta sus caractersticas econmicas y socioculturales. En otras palabras, resulta injusto comparar el rendi- miento acadmico de las escuelas o localidades sin distinguir que algu- nas de ellas trabajan con poblaciones altamente desfavorecidas y que por lo tanto deben recorrer un camino ms arduo para obtener resultados comparables al de las escuelas ms favorecidas. Es necesario, entonces, rescatar el esfuerzo que ya estn haciendo varios pases por reportar los datos de manera tal que las escuelas puedan compararse con institucio- nes semejantes y as obtener una medida ms justa sobre la eficiencia de su labor pedaggica. Debe recordarse tambin que, aunque muy inci- 24 Vale recordar que, desde la perspectiva del movimiento de estndares, la definicin de expectativas de logro por parte de los evaluadores no es suficiente. Esas expectati- vas deberan ser conocidas ampliamente por todos los actores, y los niveles espera- bles o anticipados de desempeo deberan ser fijados dentro de un marco de poltica curricular ms amplio, no solamente para el diseo de un modelo de medicin de aprendizajes. ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 54 pientemente aun, existen algunas iniciativas para medir esas diferencias de forma estadstica mediante el uso de modelos de valor agregado. Por ltimo, es necesario alertar sobre la necesidad de mejorar las estrategias para comunicar a los profesionales y beneficiarios del sistema no solo sobre los niveles de logro alcanzados por los estudiantes sino tambin sobre los tipos de desempeos concretos, debidamente ejemplificados, que se espera de los alumnos. Si bien los padres suelen tener dificultad en expresar las demandas de aprendizaje que tienen con respecto al siste- ma, hay cierta evidencia de que ellos estn en realidad interesados en saber ms sobre las expectativas curriculares de las escuelas. En cuanto a las estrategias de difusin y uso de los resultados, tanto en el caso de las pruebas nacionales como de las internacionales, se aprecia que si bien existen diferentes formas de reporte, es un aun muy dbil el contrato de informacin entre las agencias evaluadoras y los usuarios del sistema. Es decir, an falta elaborar estrategias de comunicacin que permitan involucrar a los usuarios de la informacin lase decisores de poltica, docentes y directores de centro, padres de familia, medios de comunicacin, asociaciones profesionales y repre- sentantes de la sociedad civil, entre otros en las instancias de elabora- cin de las pruebas, de diseo de los reportes y de definicin de las estrategias de difusin a utilizarse. Esto permitira que los datos se transformen en informacin sustantiva y de inters para diferentes au- diencias, quienes a su vez responderan mejor a la informacin si fue- ran debidamente sensibilizadas desde los primeros momentos del pro- ceso evaluativo. A pesar de esta debilidad, es importante destacar que los pases cu- yos sistemas de evaluacin son de altas implicancias poseen estrategias de difusin ms slidas y hacen esfuerzos mayores por entregar informa- cin a una mayor cantidad de actores en forma desagregada por escuela, e inclusive por curso y por estudiante. Si bien esas estrategias suelen ser parte de la lgica de la evaluacin de altas implicancias, pues se apunta a una responsabilizacin institucional (escolar) e individual (docentes y estudiantes), hay sistemas que devuelven la informacin de modo siste- mtico a los actores escolares aun cuando el uso de esa informacin sea para motivar, no necesariamente obligar va sanciones o incentivos, la responsabilizacin profesional para el mejoramiento de los procesos pe- daggicos y de gestin. En sexto y ltimo lugar, y en relacin al uso mismo de los datos generados por las mediciones, es necesario distinguir entre los sistemas 55 PRIMERA PARTE que apuntan con mayor nfasis relativo a lograr mayor responsabiliza- cin poltica y administrativa por los resultados de aprendizaje, los que promueven la responsabilizacin institucional, profesional y estudiantil (altas implicancias), y los que buscan un impacto pedaggico y curricu- lar al nivel local. Los primeros han tenido hasta el presente menos xito en sus intentos, pues la escasa participacin de la sociedad civil en los procesos evaluativos no ha favorecido movimientos importantes en de- manda por mayores niveles de calidad. Es decir, que si bien los resulta- dos son a menudo publicados en medios masivos de comunicacin, no han logrado generar corrientes fuertes de opinin por parte de algunos sectores clave de la sociedad civil, y por lo tanto el impacto y presin sobre las decisiones de poltica no han sido tan fuertes como se esperaba. Aun as, conviene destacar que en algunos pases se aprecia un mayor impacto de los resultados en la opinin pblica al menos al nivel del discurso, cuando no de las acciones de lo que ocurra unos pocos aos atrs. Los pases que intentan promover la responsabilizacin institucional, profesional y estudiantil cuentan con marcos normativos y mecanismos de gestin ms especficos que aseguran un uso ms extendido y siste- mtico de los resultados de las mediciones. Esto, por supuesto, no garan- tiza mayores niveles de calidad necesariamente, y es por eso que los pases que aplican pruebas de altas implicancias han desarrollado en los ltimos aos formatos de entrega de los resultados ms elaborados y pedaggica y curricularmente tiles para docentes y alumnos. Tal como fue descrito en la seccin anterior, son los sistemas de acreditacin de estudiantes para la salida de bachillerato o ingreso a educacin superior los que ms avances han realizado en este sentido. Si bien desde la teora, o desde la experiencia internacional, suele advertirse que las pruebas de altas implicancias pueden introducir des- viaciones en la labor pedaggica, en tanto los esfuerzos se centren en mejorar los puntajes de las mediciones en perjuicio de otros valores formativos de la educacin, esto no aparece como un problema mayor en Amrica Latina, al menos hasta el presente. Para este trabajo no se reco- gieron opiniones de actores locales, pero otras investigaciones del autor en pases de la Regin que cuentan con este tipo de pruebas indican que los mecanismos de incentivo o acreditacin no implican necesariamente una reduccin del trabajo pedaggico al entrenamiento para los ex- menes exclusivamente. De hecho, muchas de las escuelas que logran altos puntajes en las pruebas estandarizadas cuentan con propuestas edu- ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN 56 cativas y curriculares propias que ponen fuerte nfasis en el rol formati- vo integral de sus alumnos (Ferrer, 2004). Algunas conclusiones adicionales Adems de las generalizaciones arriba planteadas, es preciso hacer referencia ms explcita a dos aspectos de la evaluacin que han sido mencionados anteriormente, en concreto, el de los sistemas subnaciona- les de evaluacin y el de la participacin de los pases de la Regin en pruebas internacionales. Con relacin a las evaluaciones subnacionales, se observan algunas iniciativas fuertes tendientes a desarrollar sistemas de medicin que aco- moden mejor las necesidades locales o regionales de informacin. Dada la potencialidad de esos sistemas por la escala con la que trabajan y por su circunscripcin geogrfica para elaborar instrumentos ms alineados a las definiciones curriculares locales asumiendo que las hubiera y para disear estrategias ms efectivas de comunicacin de los resultados, convendra en una segunda fase de este estudio indagar ms profunda- mente en el tema. Hasta el presente, por lo pronto, puede adelantarse que las iniciativas han logrado grados importantes de consolidacin interna y legitimacin frente a la comunidad educativa, y que las posibilidades de impacto en la prctica curricular y pedaggica escolar se vislumbran como considerablemente ms importantes que las de los sistemas nacio- nales. En cuanto a las pruebas internacionales, importa destacar que ya es una veintena de pases los que han participado en al menos una evalua- cin internacional comparada, y que varios de ellos han participado en varias pruebas durante el ltimo lustro. Las experiencias de participacin han sido muy diferentes en cada pas, dependiendo de las capacidades tcnicas y de los contextos polticos en que se enmarcaron, y por lo tanto los beneficios y problemas de esa participacin han sido variados. Si bien la experiencia ha significado para los equipos tcnicos de evalua- cin en varios de los pases una excelente oportunidad de aprendizaje y capacitacin, el impacto de los datos recogidos ha sido bajo. La difusin masiva de los resultados, va la prensa escrita principalmente, ha genera- do algunas opiniones crticas debido a las grandes diferencias de rendi- miento entre Amrica Latina y los pases ms desarrollados, pero los resultados no han llegado a circular entre los medios profesionales de la educacin de manera tal de promover decisiones y cambios en las prcti- 57 PRIMERA PARTE cas pedaggicas, curriculares y de gestin 25 . Tal como se plante para el caso de las pruebas nacionales, es necesario reforzar el vnculo de comu- nicacin entre evaluadores internacionales y los usuarios potenciales de la informacin, antes, durante y despus de la aplicacin de las pruebas. Solo de esa manera podr lograrse, en el corto o mediano plazo, una mayor difusin e impacto de los resultados de las pruebas en el mejora- miento de la calidad educativa. 25 En los ltimos dos aos, la prueba PISA de la OCDE ha generado niveles importantes de debate educativo en la Regin, en buena parte debido al tipo de especificacin de conte- nidos acadmicos que propone, as como las definiciones que ofrece sobre aprendizajes socialmente significativos y los diferentes niveles de desempeo posibles. DESCRIPCIN DE CASOS NACIONALES Y SUBNACIONALES DE SISTEMAS DE EVALUACIN DE APRENDIZAJES EN AMRICA LATINA Segunda parte Nota: Los datos sobre publicidad y uso de resultados presentados en estas tablas fueron pro- vistos por autoridades tcnicas o asesores de cada pas o distrito regional. Esos datos pueden no resultar congruentes con indagaciones posteriores realizadas por el autor, y transcritas en los prrafos descriptivos sobre cada sistema. Se opt por incluir ambos tipos de informaciones para resaltar las diferencias que existen entre los objetivos ofi- ciales sobre uso de los datos, y lo que efectivamente ocurre en la prctica. 60 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN [2] Los grados de educacin media se indican con la letra M. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] ARGENTINA ARGENTINA DiNIECE 1993- 1994 1995 1996-1998 1999 2000 2002 2003 2005 7, 5M, 6M 3, 9, 5m, 6M 7 (3, 9) (5M, 6M) 6, 7 3, 7, 9 (6) (5M, 6M) (3) (6, 5M, 6M) 9 3, 6, 9, 5M 3, 6, 9, 3 Polimodal (antiguo 5M) Pruebas de pilotaje 3, 6 9, 3 Polimodal (antiguo 3M) L, M L, M L, M, CS, CN L, M L, M, CS, CN L, M L, M, CS, CN L, M, CS, CN L, M L, M L, M CS CN MN MN MN (MN) (CN) MN MN (MN) (CN) (MN) (CN) MN MN MN G, U, P G, U, P G, U, P G, U, P G, U, P G, U, P G, U, P G, P CD, CG CD, CG CD, CG CD, CG CD, CG CD, CG CD, CG OREALC 1997, TIMSS-R (2000, 2003), PISA-Plus 2001, PIRLS 2001, IEA-Civic Education 2001, PISA 2003 61 SEGUNDA PARTE La medicin de la calidad educativa ha estado a cargo del Ministerio de Educacin desde 1993. Originalmen- te, y hasta el ao 2001, la oficina evaluadora fue el SINEC, Sistema Nacional de Evaluacin de la Calidad Educativa, dependiente de la Secretara de Programa- cin y Gestin Educativa y de la Subsecretara de Eva- luacin de la Calidad Educativa. En el ao 2000 se constituy el IDECE, Instituto de Calidad Educativa, entidad semiautnoma del Ministerio de Educacin. El Instituto fue disuelto poco tiempo despus y hoy lo reemplaza la DiNIECE, Direccin Nacional de Infor- macin y Evaluacin de la Calidad Educativa, rgano de lnea del Ministerio de Educacin, Ciencia y Tecno- loga. Argentina aprob en 1994 los Contenidos Bsicos Co- munes (CBC), dentro de un marco de reforma y de un proceso de descentralizacin en el cual se transfiri la administracin de todas las escuelas nacionales a las provincias (estados federados). Cada provincia, as como la Ciudad Autnoma de Buenos Aires, son res- ponsables por el diseo de sus currculos, compatibles con los CBC. Actualmente, se estn elaborando los N- cleos de Aprendizajes Prioritarios para todos los aos de escolaridad. Estos Ncleos, basados en los CBC na- Marco institucional Currculo y estndares [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. 62 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN cionales y aprobados por consenso federal, priorizan al- gunos contenidos para la enseanza en matemtica, len- gua, ciencias sociales y ciencias naturales. El sistema mide anualmente muestras representativas de alumnos y en el ltimo ao de educacin media realiza mediciones censales. Los instrumentos son normativos, se basan en preguntas de opcin mltiple y son acompa- adas por cuestionarios a alumnos, directores y docentes para el relevamiento de factores asociados al rendimien- to. Actualmente se est diseando un nuevo modelo de medicin referido a criterios, que ser aplicado por pri- mera vez en 2006. Los resultados de las mediciones se publican desagre- gados por rea de conocimiento, por gnero, por pro- vincia, por mbito geogrfico (urbano y rural), y por tipo de gestin (pblica y privada). Adems, se clasifi- ca a la poblacin de alumnos de acuerdo a algunos indicadores sobre su vulnerabilidad socioeconmica, y a las escuelas segn sus recursos materiales y pedag- gicos. Para las mediciones censales se reportan los da- tos desagregados por escuelas. Los resultados se repor- tan como porcentaje de respuestas correctas para el total de estudiantes y para los diferentes estratos consi- derados. Las mediciones en Argentina son de bajas implicancias, en tanto los resultados no conllevan consecuencias di- rectas para los actores del sistema (la excepcin se dio en el ao 2000, cuando los resultados de secundaria por establecimiento se pusieron a disposicin del pblico). Hasta el ao 2000 se publicaron cuadernos con reco- mendaciones metodolgicas para docentes, en los cuales se discutan algunos temes de las pruebas y se explica- ban las dificultades que estos haban presentado para los alumnos. Actualmente esas publicaciones han sido dis- continuadas y los resultados de las mediciones no pare- cen haberse instalado en la agenda de debate pblico ni en la del sistema educacional. Solamente los resultados de las pruebas internacionales parecen tener cierto grado de impacto en los medios de comunicacin y en la opi- nin pblica. Tipos de pruebas Tipos de reporte Uso y difusin de resultados 63 SEGUNDA PARTE La provincia de Buenos Aires ha desarrollado, con la asesora tcnica de UNESCO-OREALC, un sistema de medicin basado en el modelo de valor agregado que permite medir el progreso acadmico de los alumnos teniendo en cuenta los factores socioeconmicos de cada poblacin escolar. La Ciudad Autnoma de Bue- nos Aires tambin posee un sistema propio de evalua- cin, pero los resultados no se hacen pblicos sino que se devuelven directamente a las escuelas para fines de investigacin y mejoramiento pedaggico e institucio- nal. Tambin realizan, o han realizado, mediciones in- dependientes las provincias de Catamarca, Chaco, Cr- doba, Entre Ros, La Pampa, La Rioja, Mendoza, Misiones, Neuqun, Ro Negro, Salta, San Juan, Santa Cruz, Santa Fe, Tierra del Fuego y Tucumn. Los gra- dos de cobertura y las metodologas de evaluacin va- ran de provincia en provincia, as como el grado de apoyo que han solicitado al Ministerio de Educacin para el desarrollo de instrumentos propios. Adems, casi todas las provincias han desarrollado algn tipo de estrategia propia para la difusin de los resultados del operativo nacional de evaluacin. Argentina ha participado en las pruebas internacionales del LLECE (1997), TIMSS-R (2000), PISA-Plus (2001), PIRLS (2001), IEA-Civic Education Study (2001), PISA (2003). Vale mencionar la legitimidad poltica que ha ido ganan- do el sistema nacional de evaluacin, la continuidad en la ejecucin de los operativos anuales y la creciente per- cepcin sobre la necesidad de mejorar la utilidad de las evaluaciones para fines pedaggicos. Entre las dificultades ms importantes que enfrenta el sistema en la actualidad, cabe mencionar la falta de co- municacin entre la unidad de medicin y las oficinas de desarrollo curricular y formacin y capacitacin do- cente, as como la resistencia hacia las mediciones cuan- titativas que ofrecen algunos acadmicos y tcnicos den- tro del Ministerio. Simultneamente, es necesario que la unidad de medicin haga anlisis ms complejos de los datos obtenidos y que comience a reportar los datos de Sistemas subnacionales de evaluacin Pruebas internacionales de aprendizaje Avances observados Dificultades observadas 64 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN rendimiento en forma diferencial para las escuelas de diferentes estratos socioeconmicos. No se observa un marco conceptual definido para la interpretacin de los resultados ni de los factores asociados al rendimiento, pero a pesar de que las pruebas son referidas a normas, y de que el vnculo entre las oficinas de evaluacin y de desarrollo curricular es sumamente dbil, se ha ensaya- do con la presentacin de datos en forma ms sustantiva, en relacin a las capacidades especficas que el conjunto de los estudiantes demuestran de acuerdo al porcentaje de logro mostrado en las evaluaciones. El Plan de Evaluacin de la Calidad Educativa 2003- 2007, recientemente aprobado por el Consejo Federal de Educacin tiene como objetivos principales los de desa- rrollar nuevas metodologas cuanti-cualitativas, profun- dizar los trabajos de anlisis e interpretacin de los re- sultados, brindar asistencia para el fortalecimiento de los sistemas provinciales de evaluacin, y lograr mayo- res grados de articulacin con otros programas y direc- ciones del Ministerio para desarrollar planes ms efica- ces de mejoramiento de la calidad educativa. Se plantea tambin la necesidad de hacer mejor uso de los datos para disear polticas tendientes al mejoramiento de la equidad en el acceso al conocimiento, as como de ela- borar informes diferenciados para distintos tipos de au- diencias. Se continuar participando en pruebas interna- cionales. 65 SEGUNDA PARTE Por Ley del Poder Ejecutivo, el SIMECAL depende di- rectamente del despacho del Ministro de Educacin. En la prctica, sin embargo, se encuentra ubicado dentro de la Direccin General de Estrategia Sectorial. Esto deter- mina que las informaciones que se recogen mediante las evaluaciones no lleguen rpidamente a las autoridades polticas con mayor poder de decisin. Hasta el ao 2002, esta situacin aun no haba sido resuelta. La Reforma Educativa boliviana introdujo, entre los aos 1997 y 1998, un nuevo marco curricular nacional Marco institucional Currculo y estndares Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] BOLIVIA BOLIVIA (SIMECAL) 1996-2000 1, 3, 6, 8, 4M L, M MN, CN, CR (La Paz) G, P, U OREALC 1997 ALL (2001) [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)], U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia], P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. 66 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN para educacin primaria organizado en torno a competen- cias, indicadores de desempeo y estrategias de evaluacin por reas disciplinares. En educacin secundaria an conti- nan vigentes los antiguos programas introducidos en los aos setenta. Las nuevas propuestas curriculares, y muchas de las acciones efectivas de reforma, reivindican fuerte- mente la educacin en lenguas y culturas originarias. Los marcos, organizados y difundidos en forma de mdulos, no pretenden una cobertura curricular exhaustiva, sino que proponen tipos de actividades que responden a una nueva lgica curricular y pedaggica. Oficialmente, las pruebas del SIMECAL estn referidas a los marcos curriculares nacionales. Sin embargo, existen crticas por parte de los equipos tcnicos de desarrollo curricular en cuanto a la forma relativamente aislada en que el SIMECAL desarro- ll las tablas de especificaciones y los instrumentos de evaluacin. Originalmente, las pruebas desarrolladas por el SIMECAL fueron estrictamente normativas y referidas al antiguo cu- rrculo nacional. Despus, se desarrollaron pruebas referi- das a criterios sobre la base de las nuevas competencias curriculares y de tres niveles de logro (A, B y C) estableci- dos desde la unidad de evaluacin misma. Los instrumen- tos se basan en preguntas de opcin mltiple. Se aplican pruebas en las tres lenguas originarias principales, y todas se acompaan con cuestionarios a docentes, directores, pa- dres y alumnos para el anlisis posterior de factores aso- ciados al rendimiento. El SIMECAL fue creado bsica- mente para la evaluacin de aprendizajes escolares, pero de manera lenta fue asumiendo nuevas responsabilidades: Prueba de Aptitud Acadmica (bachilleres egresantes), evaluacin de maestros interinos, bachillerato pedaggico, asesores pedaggicos, profesores (sistema de bonos y as- censos), preseleccin de candidatos a directores distritales, directores de escuela e ingreso a institutos normales. Los informes de resultados elaborados por el SIMECAL indican los porcentajes de alumnos que alcanzan cada ni- vel de desempeo en las reas evaluadas. A su vez, los datos son desagregados principalmente por departamento, por lengua verncula, por tipo de dependencia, y por gne- ro. Tanto en el caso de las pruebas censales como en las Tipos de pruebas Tipos de reporte 67 SEGUNDA PARTE muestrales, las escuelas reciben un informe institucional del rendimiento de sus alumnos que incluye el puntaje pro- medio institucional, una descripcin operacional de los ni- veles de logro establecidos por rea, y el porcentaje de alumnos de la escuela ubicados en cada nivel. Luego se presenta una descripcin estandarizada de las fortalezas y debilidades del conjunto de alumnos por cada eje temtico en cada rea curricular. Tambin se distribuye un folleto con anlisis de temes seleccionados y propuestas metodo- lgicas para mejorar los resultados en relacin a esos te- mes. Para el caso de los bachilleres egresantes, se ofrece un informe individual por alumno con su desempeo en cada eje temtico evaluado por rea. Para el conjunto de escuelas y de equipos tcnicos locales, se distribuye un folleto con indicadores de eficacia escolar segn los datos recogidos con las pruebas y cuestionarios de contexto. Los factores asociados al rendimiento que se publican refieren a las caractersticas del alumnado y sus familias (educacin previa, NES familiar y actitudes, vivienda), procesos peda- ggicos, y recursos materiales escolares. Si bien se cuenta con informacin sobre las caractersticas socioeconmicas y culturales de las familias, no se han definido estratos especficos que permitan desagregar los resultados segn esta variable. Los datos de las evaluaciones son presentados oficialmente en diversas instancias: presentacin pblica por parte del Ministro de Educacin, presentacin a los diferentes equi- pos de reforma educativa y curricular, entrega de trpticos y folletos a escuelas, realizacin de talleres informativos en ciudades capitales con participacin de la sociedad civil y de equipos tcnicos locales, y publicacin de resultados globales en prensa escrita. Se realizan tambin estudios secundarios que asocian los datos de rendimiento a varia- bles de nutricin infantil. Se ignora qu uso efectivo se da a los resultados en las escuelas. Los datos no han sido utilizados en la medida en que se esperaba para el diseo de polticas educativas. Problemas de comunicacin al in- terior del Ministerio, y probablemente la falta de acuerdos sectoriales sobre la validez e importancia del logro de los aprendizajes evaluados hace que los resultados tengan bajo impacto en la agenda de poltica. Diversas opiniones al interior de la unidad de evaluacin, as como de agencias Uso y difusin de resultados 68 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN de cooperacin internacional, coinciden en que los datos del SIMECAL deberan utilizarse como uno de los indi- cadores principales para la definicin de mejores polticas sectoriales (no solamente curriculares y pedaggicas) e intersectoriales. No se han desarrollado sistemas subnacionales. Bolivia ha participado en la prueba de LLECE-UNESCO (1997) y ALL (2001). Se observa continuidad en los programas de evaluacin y relativa estabilidad de los cuadros tcnicos. Se han reali- zado esfuerzos por mejorar de manera gradual los instru- mentos de medicin, desarrollar pruebas criteriales y pro- ducir reportes de calidad que permiten, potencialmente, un buen uso pedaggico y curricular de los datos. Entre las dificultades ms importantes se encuentra la au- sencia de polticas sectoriales que enfaticen el seguimien- to a la calidad de los aprendizajes y que para ello utilicen sistemticamente los datos recogidos por el SIMECAL. Existe la percepcin y el convencimiento de que los datos podran utilizarse como indicadores clave para la formu- lacin de polticas intersectoriales, pero la falta de comu- nicacin y articulacin entre rganos de gobierno hace que esa formulacin no se realice. Tampoco se realiza un seguimiento adecuado sobre el uso efectivo que las es- cuelas hacen de los datos proporcionados por el SIME- CAL. Las autoridades del SIMECAL consideran que el sistema ha asumido ms responsabilidades de evaluacin que las que su capacidad operativa permite. Por ello, es menester concentrar los esfuerzos sobre todo en la evaluacin de aprendizajes escolares y dedicar todos los recursos res- tantes a difundir ms ampliamente los datos y a educar a audiencias clave para el uso de las informaciones en la formulacin de polticas educativas. Sistemas subnacionales de evaluacin Pruebas internacionales de aprendizaje Avances observados Dificultades observadas Proyeccin a futuro 69 SEGUNDA PARTE Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] BRASIL BRASIL INEP/ MEC(SAEB) (ENEM) 1990-1993 1995 1997 1999 2001-2005 1998-2005 1, 3, 5, 7 4, 8, 11 4, 8, 11 4, 8, 11 4, 8, 11 Trmino de Educacin bsica L, M, CN L, M L, M, CN L, M, CN, CS L, M 5 competen- cias [7] MN MN MN MN MN V G, P G, P G, P G, P G, U, P G, U ETS- Matemticas (1991; OREALC (1997); PISA (2000, 2003), TIMSS 2003 CD, DC CD, DC CD, DC CD SES [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental, V=Voluntario [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de los resultados), CG=Capacitacin para la Gestin, DC=Desarrollo Curricular, FA=Focalizacin de apoyos a estudiantes y centros educativos, SES=Seleccin educacin superior [7] I. Dominar linguagens Dominar a norma culta da lngua portuguesa e fazer uso da linguagem matemtica, artstica e cientfica. II. Compreender fenmenos Construir e aplicar conceitos 70 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN La agencia evaluadora al nivel nacional en Brasil es el SAEB Sistema de Evaluacin de la Educacin Bsica y est administrada por el Instituto Nacional de Investiga- ciones Educativas (INEP), un rgano dependiente del Ministerio de Educacin pero con cierto grado de auto- noma administrativa. Un subsistema de evaluacin del INEP es el ENEM, Examen Nacional de Enseanza Me- dia, que guarda relacin tcnica con el SAEB pero se administra y aplica en forma independiente. Las primeras aplicaciones del SAEB se realizaron antes de la elaboracin de los Parmetros Curriculares Nacio- nales, aprobados en el ao 1997, cuando cada estado contaba con un marco curricular propio. Por esta razn, fue necesario entonces construir y validar con los esta- dos una matriz de referencia que contuviera un 60% de contenidos comunes a todos los currculos estaduales. Posteriormente, se fue actualizando esa matriz para in- corporar los contenidos de los Parmetros Curriculares Nacionales, de manera que ya no es necesario validar permanentemente la matriz con las Secretaras de Edu- cacin de cada estado. En la actualidad, participan en la definicin de contenidos especialistas contratados para tal fin, pero no se trata de un trabajo conjunto con los equipos tcnicos estables de la administracin nacional del currculo. Los docentes son consultados durante la elaboracin de las pruebas, pero no puede considerarse un proceso altamente participativo de estos actores. La matriz de referencia busca lograr un equilibrio entre el currculo prescrito y el implementado en las escuelas, pero el diseo de las pruebas y cuestionarios no permite realizar anlisis posteriores sobre cunto del rendimien- Marco institucional Currculo y estndares das vrias reas do conhecimento para a compreenso de fenmenos naturais, de processos histrico-geogrficos, da produo tecnolgica e das manifestaes artsticas. III. Enfrentar situaes-problema Selecionar, organizar, relacionar, interpretar dados e informaes repre- sentados de diferentes formas, para tomar decises e enfrentar situaesproblema. IV. Cons- truir argumentao Relacionar informaes, representadas em diferentes formas, e conheci- mentos disponveis em situaes concretas, para construir argumentao consistente. V. Elaborar porposta Recorrer aos conhecimentos desenvolvidos na escola para elaborao de propostas de interveno solidria na realidade, respeitando os valores humanos e consideran- do a diversidade sociocultural. 71 SEGUNDA PARTE to se debe a la implementacin efectiva del currculo nacional (Oportunidad de Aprendizaje). Los instrumentos de medicin son referidos a normas y se construyen de acuerdo al modelo psicomtrico de la Teora Clsica y de TRI. La matriz de referencia se basa en descriptores que involucran dos niveles de especifi- cacin: competencias y habilidades. Se mantienen los mismos tpicos de evaluacin en todos los grados eva- luados, pero se va ajustando las prioridades o nivel de complejidad para los grados superiores. El modelo es fuertemente cognitivista, en tanto busca detectar en qu punto del proceso de aprendizaje se produce una ruptura o detenimiento en la adquisicin de saberes ms comple- jos. Para esto, luego de la aplicacin de las pruebas, se realizan estudios de seguimiento cualitativo en aula. Las pruebas van acompaadas de cuestionarios que relevan datos escolares y extraescolares para estudios posterio- res de factores asociados al rendimiento. Para tal fin, se dise una caracterizacin sociodemogrfica de las es- cuelas y sus entornos, as como una caracterizacin pro- fesional de los directores y docentes a cargo de los gru- pos evaluados. Los cuestionarios se aplican a alumnos, docentes y directores. Estas informaciones tambin se cruzan estadsticamente con los datos del censo nacional de educacin y del Instituto Brasileo de Geografa y Estadstica. El ENEM, Examen nacional de Enseanza Media, se aplica a los egresantes de ese nivel de escola- ridad, es voluntario y requiere de una inscripcin o re- gistro previo por parte de los alumnos. La matriz de referencia para la prueba fue construida ad hoc pero se sirve del banco de temes del SAEB y refiere por lo tanto a los contenidos de los Parmetros Curriculares Nacionales. La prueba apunta a ofrecer indicadores rele- vantes para la seleccin de individuos en el mercado laboral y, eventualmente, para el ingreso a la educacin superior (estos indicadores son utilizados opcionalmente por las universidades). Los informes de resultados reportan, principalmente, el porcentaje de alumnos por grado que logra diferentes niveles de desempeo en una escala predeterminada para las diferentes reas del currculo. Complementariamen- Tipos de pruebas Tipos de reporte 72 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN te, se presenta una descripcin del tipo de capacidades que los alumnos demuestran haber logrado en cada uno de esos niveles de desempeo. Los datos se presentan agregados al nivel nacional, y luego se desagregan por regin, estado y municipio. El ENEM entrega un boletn individual de resultados. Si alguna persona desea tener acceso al mismo, debe pedir autorizacin del estudiante. A solicitud de las escuelas se puede hacer un boletn de resultados de las mismas. El rediseo de los instrumentos de evaluacin del SAEB a partir del ao 2001 ha determinado que se revean tam- bin las estrategias de difusin y uso de los datos reco- gidos. Hasta el momento, el nfasis ha estado puesto principalmente en la sensibilizacin de audiencias clave para asegurar un mayor impacto posterior de las infor- maciones. Para tal fin, se han realizado visitas informa- tivas y asambleas a todos los estados con la participa- cin de equipos tcnicos estaduales y locales, docentes, directores de escuela, universidades y medios de prensa. Por demanda de los docentes, las asambleas ponen espe- cial acento en las caractersticas tcnicas de las pruebas y de la matriz de referencia. Los resultados son de cono- cimiento pblico pero su uso est destinado bsicamente a la toma de decisiones de poltica al interior del Minis- terio de Educacin. Por tratarse de pruebas muestrales, los resultados no se devuelven a las escuelas individual- mente. Sin embargo, el INEP ha realizado informes es- pecficos de uso pedaggico que muestra una seleccin de temes, presenta los desempeos promedio de los alumnos para cada uno de ellos, y propone un conjunto de explicaciones sobre las posibles causas de desacierto en las respuestas. Adicionalmente, se han encargado in- vestigaciones cualitativas que buscan comprender algu- nos de los factores pedaggicos y de prcticas sociales en aula que expliquen los resultados en el mbito nacio- nal. Los resultados no tienen altas implicancias para las escuelas o los alumnos, y no se observa un alto impacto en la responsabilizacin poltica por la calidad de los aprendizajes. Los bancos de datos y de temes estn dis- ponibles para investigaciones externas al INEP, pero solo pueden accederse por convenio y mediante arreglos legales previos. Los resultados del ENEM son utilizados Uso y difusin de resultados 73 SEGUNDA PARTE para la seleccin de inscritos a la ProUni, para la obten- cin de becas de estudio integrales o parciales (para es- tudiantes de bajo nivel socioeconmico). Adems, cien- tos de instituciones de educacin superior los usan para sus procesos selectivos. Ver separadamente los casos estaduales de Paran, So Paulo y Minas Gerais. LLECE (1997) y PISA (2000) Se aprecia un importante grado de institucionalizacin interna, en trminos de estabilidad de los equipos y de continuidad en las evaluaciones. Externamente, el SAEB ha logrado instalarse sin oposicin por parte de los sindicatos u otros actores de la comunidad educati- va, lo cual se atribuye a los esfuerzos realizados por mantener a los actores locales de forma adecuada infor- mados sobre los objetivos y fines de la evaluacin. Vale destacar tambin el trnsito hacia un modelo de evalua- cin ms centrado en el uso pedaggico y curricular de los datos recogidos por los operativos. A pesar del inters y esfuerzos realizados por maximizar el uso pedaggico de los datos, se cree que llevar un tiempo considerable, y mucho trabajo de difusin y ca- pacitacin, lograr un impacto efectivo en las escuelas. No se dispone de informaciones que den cuenta del uso dado a los datos para la toma de decisiones de poltica educativa a nivel nacional. Se espera poder diversificar en mayor grado los tipos de reporte de resultados para impactar con eficacia en dife- rentes tipos de audiencias. Sistemas subnacionales de evaluacin Pruebas internacionales de aprendizaje Avances observados Dificultades observadas Proyeccin a futuro 74 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] CHILE CHILE (PER Prueba de Evaluacin del Rendimiento Escolar) SIMCE Sistema de Medicin de la Calidad de la Educacin 1982-1984 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 4, 8 4 8 4 8 4 2M 8 4 2M 8 4 8 2M L, M, CN, CS L, M, CS, CN, AA L, M, CS, CN, AA L, M, CS, CN, AA L, M, CS, CN, AA L, M, CS, CN, AA AA L, M, CS, CN, AA, L, M, CS, CN, AA L, M, AA L, M, CS, CN L, M, CS, CN, AA L, M, CS, CN, AA L, M MN, CN CN, ME CN, ME CN, ME CN, ME CN, ME CN, ME CN, ME CN, ME CN, ME CN, ME CN, ME CN, ME MN, ME G, U, P G, U, P G, U, P G, U, P G, U, P G, U, P G, U, P G, U, P G, U, P G, U, P G, U, P G, U, P G, U, P G, U, P CD, DC, FA CD, DC, FA CD, DC, FA CD, DC, FA CD, DC, FA CD, DC, FA CD, DC, FA CD, DC, FA CD, DC, FA CD, DC, FA OREALC 1997, TIMSS-R 1998, TIMSS 2003, IALS 1998, IEA- Civic Education (2000), PISA Plus 75 SEGUNDA PARTE Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] Continuacin 1999 2000 2001 2002 2003 2004 4 8 2M 4 2M 8 L, M, CN, CS L, M, CN, CS L, M L, M, CN, CS L, M L, M, CN, CS CN, ME CN, ME CN, ME CN, ME CN, ME CN G, U, P G, U, P G, U, P G, U, P G, U, P G, U, P CD, DC, FA CD, DC, FA CD, DC, FA CD, DC, FA CD, DC, FA CD, DC, FA, I [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos, I= Incentivos docentes. 76 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN El SIMCE, Sistema de Medicin de la Calidad Educati- va, es administrado desde la Unidad de Curriculum y Evaluacin del Ministerio de Educacin. Este sistema, originalmente creado fuera del Ministerio bajo otra de- nominacin (PER) y la direccin tcnica de la Universi- dad Catlica de Chile, aplica pruebas de logro acadmi- co desde el ao 1981. A partir del ao 1988 comenz a funcionar dentro de la estructura del Ministerio de Edu- cacin, por lo cual no es un organismo autnomo aun- que su legitimidad tcnica le otorga grados importantes de liderazgo y capacidad de decisin de poltica evalua- tiva al nivel nacional. En 1996 y 1998, en una de las ltimas fases de la amplia reforma educacional emprendida a principios de la dca- da pasada, fueron aprobados por ley los Objetivos Fun- damentales y los Contenidos Mnimos Obligatorios para la educacin bsica primaria y secundaria, y que consti- tuyen el marco curricular oficial en Chile. Los instru- mentos de medicin de aprendizajes del SIMCE fueron incorporando los contenidos de esos referentes curricu- lares gradualmente, en la medida en que los nuevos pro- gramas se implementaban en las escuelas. La LOCE Ley Orgnica Constitucional de Enseanza de 1990, or- dena tambin la elaboracin de estndares nacionales de currculo, mandato que est siendo cumplido en la ac- tualidad con la elaboracin de estndares de contenido y desempeo para todos los grados de escolaridad en las reas de Lenguaje, Matemticas, Historia y Ciencias So- ciales, Ciencias (Biologa, Qumica y Fsica) e Ingls como segunda lengua. Las pruebas son censales en todos los grados de aplica- cin. Histricamente han sido diseadas con referencia a normas, aunque recientemente se ha redefinido el mode- lo para poder reportar los resultados con referencia a criterios. Los instrumentos incluyen preguntas cerradas de opcin mltiple, as como preguntas para el desarro- llo de respuestas abiertas. Todos los operativos son acompaados con cuestionarios de contexto para el estu- dio posterior de factores escolares y extraescolares aso- ciados al rendimiento acadmico. Complementariamen- Marco institucional Currculo y estndares Tipos de pruebas 77 SEGUNDA PARTE te, un equipo tcnico especial realiza un seguimiento cuanti-cualitativo de implementacin curricular a nivel nacional mediante encuestas y observaciones a docentes y directores de escuelas. Ese seguimiento permite indagar ms profundamente sobre la incidencia que las diferentes fuentes de prescripcin curricular utilizadas en la escuela (marcos curriculares, programas de estudio, libros de tex- to, etc.) tienen sobre el logro acadmico de los alumnos. Los informes generales de difusin presentan los resul- tados agregados al nivel nacional, y desagregados por regiones geogrficas, tipo de escuela (urbana o rural) y tipos de administracin (municipal, privada o subven- cionada). A lo largo de los ltimos aos se han utilizado diferentes formas de reporte, dependiendo de los objeti- vos de informacin para diferentes audiencias. Algunos informes presentan los resultados en forma de prome- dios de logro y desviacin estndar para las diferentes asignaturas y estratos evaluados, mientras que otros re- portan porcentajes de respuestas correctas para cada sig- natura, o ms detalladamente por objetivos al interior de cada una de ellas. Varios de los informes enfatizan las diferencias de resultados entre tipos de escuelas, o bien la evolucin de resultados a lo largo del tiempo. La comparabilidad interanual de resultados ha sufrido cues- tionamientos tcnicos, por lo que recientemente se ha recurrido a la metodologa de equating, lo cual permite inferencias ms confiables sobre el progreso en los aprendizajes a lo largo de la ltima dcada. Complemen- tariamente, el equipo tcnico del SIMCE produce infor- mes analticos-interpretativos de los resultados y sus im- plicancias para la comprensin de la evolucin de la implementacin y alcance de los nuevos marcos curricu- lares. Todas las escuelas evaluadas reciben un informe institucional que resume los niveles de logro acadmico de los grupos (cursos) participantes en la evaluacin de cada una de las asignaturas. Chile es probablemente el pas latinoamericano donde los resultados de aprendizaje medidos estandarizada- mente tienen la mayor repercusin poltica interna. Los esfuerzos realizados por el gobierno para impulsar y sostener altos niveles de inversin en la reforma educa- Tipos de reporte Uso y difusin de resultados 78 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN cional han requerido mostrar evidencias sobre el xito de los programas implementados. Muchos de los infor- mes oficiales de resultados acadmicos, as como las investigaciones independientes que hacen uso de los da- tos del SIMCE, ponen especial nfasis en las variacio- nes de logro educativo a lo largo de los aos noventa y en el tamao de las brechas entre escuelas de diferentes dependencias y estratos socioeconmicos. Estos infor- mes son frecuentemente balanceados, o desafiados, por investigaciones independientes de la comunidad acad- mica nacional, que cuestiona el impacto de la reforma y de los mecanismos de financiamiento en trminos de mejoramiento de la calidad educativa. En cuanto al uso de las evaluaciones SIMCE para la focalizacin de pol- ticas de mejoramiento, se destacan al menos tres estrate- gias fuertemente consolidadas: 1) El uso de los resulta- dos como uno de los dos indicadores ms importantes en la seleccin de las escuelas que ingresan al Programa de las 900 escuelas (P-900- en este momento atendiendo alrededor de 1.500 instituciones); 2) La utilizacin de los datos para la asignacin de fondos concursables para los Proyectos de Mejoramiento Educativo; 3) El uso de los datos como uno de los indicadores principales para otorgar incentivos docentes mediante el SNED, Sistema Nacional de Evaluacin del Desempeo de los Estable- cimientos Educacionales. El uso pedaggico y curricular de las evaluaciones centrales se da, bsicamente, me- diante la difusin entre docentes de nuevas y ms sofis- ticadas formas de evaluacin, y a travs del seguimiento cualitativo que hace la UMC de la implementacin curri- cular en las escuelas. Ese seguimiento permite observar el grado de apropiacin formal y efectivo de los nuevos marcos curriculares, y los resultados (tanto del segui- miento como de las pruebas nacionales e internacionales) permiten identificar cules aspectos del currculo necesi- tan de mayor estmulo para su implementacin y logro. No se han desarrollado sistemas subnacionales de medi- cin y evaluacin de aprendizajes. Chile ha participado en las pruebas internacionales com- paradas OREALC 1997, TIMSS-R 1998, IALS 1998, IEA-Civic Education Study 2000, y PISA Plus 2001. Sistemas subnacionales de evaluacin Pruebas internacionales de aprendizaje 79 SEGUNDA PARTE Se observa una transicin importante hacia el uso de los datos de las evaluaciones para la definicin y diseo de polticas de mejoramiento educativo, en contraste con el uso original que se dio al sistema para informar al pbli- co para la seleccin de escuelas. Si bien los resultados individuales por escuela aun se difunden pblicamente, el mayor nfasis est puesto sobre el anlisis sustantivo de los datos y sus implicancias para el mejoramiento de la calidad educativa. Destaca la continuidad de los ope- rativos a lo largo de los aos, la consolidacin y estabi- lidad de los equipos tcnicos, y la institucionalizacin externa lograda por el sistema. A pesar de los informes analticos y las recomendacio- nes pedaggicas elaborados por el SIMCE, aun resulta difcil impactar sobre los procesos de desarrollo curricu- lar y de enseanza-aprendizaje en las escuelas. El proceso actual de elaboracin de estndares requerir una redefinicin o ajuste de los instrumentos de medi- cin de aprendizajes. Avances observados Dificultades observada Proyeccin a futuro 80 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental, C=Ciudadana [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos, SE=Seleccin educacin supe- rior [7] En algunas entidades territoriales se realiz, adicionalmente, la evaluacin de los grados 3 y 7. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] COLOMBIA COLOMBIA ICFES- Ministerio de Educacin Pruebas SABER ICFES: Exmenes de Estado 1991/1994 1997/1998 1998/1999 2002-2003 1980-2005 3, 5, 7, 9 3, 5, 7, 9 7, 9 5, 9 [7] 11 L, M L, M, L, M, CN L, M, CN L, M, CS, CN, LE MN, MR MN MN CN CN G, U, P G, U, P G, U, P G, U DC, SES TIMSS (1995); OREALC (1997); IEA- Civic Education (2000); PIRLS (2001) 81 SEGUNDA PARTE Marco institucional Todos los operativos de medicin y evaluacin de aprendizajes se realizan a travs del ICFES, Instituto Colombiano para el Fomento de la Educacin Superior, un rgano semiautnomo del Ministerio de Educacin Nacional. El ICFES depende polticamente del Ministe- rio pero goza de altos grados de autonoma administrati- va, lo cual le ha permitido lograr considerable estabili- dad tcnica y desarrollo institucional a lo largo de las tres ltimas dcadas. Dentro del ICFES funciona el Ser- vicio Nacional de Pruebas, la unidad tcnica encargada del diseo, aplicacin y procesamiento de los operativos nacionales de evaluacin. El operativo principal, de ma- yor estabilidad en el tiempo y reglamentado por ley na- cional, es el correspondiente a los Exmenes de Estado, que regulan el acceso de los estudiantes a la educacin superior. Estas pruebas son administradas por el ICFES en forma independiente y no guardan relacin tcnica ni poltica con la administracin ministerial de la educa- cin bsica (primaria y secundaria), aunque ofrecen da- tos de alto valor curricular y para las escuelas medias de todo el pas. Por otro lado, la Direccin de Calidad del Ministerio de Educacin y el ICFES han desarrollado en forma conjunta un Sistema Nacional de Evaluacin de aprendizajes en educacin bsica, denominado SABER. Este proyecto fue concebido como un plan de monitoreo de la calidad educativa que habra de llevarse a cabo entre los aos 1997 y 2005, en forma de seguimiento longitudinal de aprendizajes. Sin embargo, la rotacin de autoridades polticas e importantes reestructuraciones en el Ministerio de Educacin del sector en los ltimos aos, y los consecuentes cambios en las prioridades y lneas de accin de poltica, han impedido que ese pro- yecto se complete y las aplicaciones anuales han sido discontinuadas. Currculo y estndares En Colombia conviven tres referentes curriculares oficia- les que se han ido sumando a lo largo de la ltima dcada. Estos son los Lineamientos Curriculares, los Indicadores de Logros Curriculares Generales, y los nuevos Estnda- res nacionales aprobados en 2002 para tres asignaturas. Las evaluaciones de SABER aplicadas hasta 1999 toma- ron como referente curricular los dos primeros documen- 82 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN tos. Los Exmenes de Estado, por su parte, fueron disea- dos originalmente sobre la base de un conjunto de habili- dades cognitivas universales, pero recientemente fueron reformulados en base a criterios que incorporan los conte- nidos de los marcos curriculares nacionales. El diseo de la matriz de referencia de estos exmenes puede conside- rarse, desde el punto de vista tcnico, como una propues- ta de estndares, en tanto explican clara y exhaustivamen- te qu tipos y niveles de desempeos acadmicos se espera de los estudiantes, a la vez que constituyen herra- mientas tiles de informacin para las escuelas secunda- rias, los alumnos y sus familias. Tipos de pruebas Las pruebas SABER son muestrales, estn referidas a criterios y evalan el rendimiento acadmico de acuerdo a una escala predefinida de tres niveles de desempeo de complejidad creciente para cada asignatura y ao evaluados. Las pruebas se complementan con cuestiona- rios de contexto que permiten el anlisis de factores es- colares y extraescolares asociados al rendimiento acad- mico (caractersticas de escuela, maestro, alumno y familia). Los Exmenes de Estado se aplican censalmen- te a todos los aspirantes a la educacin superior. Las pruebas miden el alcance de conocimientos en las reas curriculares de formacin general, y tambin permiten la evaluacin de conocimientos en profundidad para algu- nas disciplinas, segn los requisitos de ingreso de los diferentes programas de educacin superior. Se evalan tambin conocimientos en lenguas extranjeras y forma- cin interdisciplinar (especficamente, medio ambiente y violencia y sociedad). Tipos de reporte Los informes de las pruebas SABER presentan los resul- tados de aprendizaje agregados al nivel nacional, y des- agregados al nivel departamental, por tipos de escuela (urbano o rural) y tipo de gestin (privada u oficial). Los datos de rendimiento de cada subgrupo de estudian- tes se reportan en forma de porcentaje de respuestas co- rrectas para cada uno de los niveles de desempeo pre- definidos (B, C, y D desde el ms bsico al ms complejo). En cuanto a los Exmenes de Estado, los informes principales son los que llegan a los centros educativos. Todas las escuelas medias reciben un reporte 83 SEGUNDA PARTE institucional donde se detalla exhaustivamente cul fue el nivel de logro de cada uno de sus estudiantes en las diferentes reas del currculo, y cules objetivos espec- ficos de cada rea muestran mayores avances y dificul- tades. Adicionalmente, los estudiantes reciben un repor- te individual que les permite conocer en detalle cules han sido sus logros y dificultades ms significativos. Los informes de difusin general reportan los porcenta- jes de alumnos que lograron cada uno de los niveles de desempeo en las diferentes reas evaluadas. Tambin se reportan datos desagregados por departamento geo- grfico, comparando el desempeo relativo de cada uno respecto del promedio nacional. Uso y difusin de Los informes que se produjeron sobre los resultados de las pruebas SABER se difundieron entre las autoridades polticas y tcnicas del sector, y tambin fueron presen- tados a diversos actores locales mediante folletos expli- cativos, foros, talleres de interpretacin de resultados y otros eventos pblicos. Los datos de contexto levantados por los cuestionarios han sido analizados sobre todo por organizaciones e investigadores independientes. Los re- sultados de los Exmenes de Estado, por su parte, tienen como destinatario principal las escuelas medias y sus alumnos. Dado el grado de desagregacin de los datos que reciben las escuelas, especialmente en cuanto a los conocimientos especficos demostrados por los estudian- tes, los informes constituyen herramientas clave para el mejoramiento en el diseo y la implementacin curricu- lar. Para los alumnos, los datos devueltos son indicado- res precisos sobre el tipo de conocimientos que han lo- grado, y sobre cul es deben t rabaj ar en mayor profundidad si necesitan mejorar los resultados y sus posibilidades de ingreso a la educacin superior. No hay evidencia de que los datos hayan impactado en las deci- siones de poltica en el mbito de la educacin bsica, aunque s se utilizan por lo comn como materia de estudio por parte de investigadores del ICFES y de otras instituciones acadmicas. Sistemas subnacionales El sistema de evaluacin subnacional que mayor desa- rrollo ha logrado es el diseado e implementado por la Secretara de Educacin de Bogot (ver informe aparte). de evaluacin resultados 84 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN Pruebas internacionales Colombia ha participado en las pruebas internacionales comparadas TIMSS (1995); OREALC (1997); IEA-Ci- vic Education (2000); y PIRLS (2001). Avances observados La larga experiencia en medicin de aprendizajes acu- mulada por el ICFES ha permitido el desarrollo de im- portantes capacidades tcnicas y operativas a nivel nacio- nal, aunque esas capacidades no siempre se transfieren al Ministerio de Educacin ni son utilizadas por este para orientar ms racionalmente las decisiones de poltica educativa. Cabe destacar los esfuerzos por desarrollar modelos psicomtricos e instrumentos referidos a crite- rios, lo cual garantiza mayor articulacin curricular en- tre la educacin media y los requisitos de ingreso a la universidad. El ICFES goza de un grado importante de institucionalizacin interna y externa, lo cual se debe tanto al respaldo normativo que lo regula como a la vo- luntad de los equipos tcnicos por actualizar los instru- mentos y hacerlos ms tiles como herramientas de ges- tin escolar. Dificultades observadas Si bien se reconoce oficialmente el valor de los datos recogidos por las pruebas SABER y los Exmenes de Estado, los resultados han tenido muy bajo impacto en la toma de decisiones de poltica educativa. Esto se debe principalmente a la alta rotacin de autoridades polticas del sector, lo cual ha impedido que se mantengan lneas de accin a largo plazo, y que se utilice los datos de las evaluaciones para sustentarlas. Proyeccin a futuro La administracin ministerial actual ha hecho explcita su voluntad de seguir ampliando y socializando los es- tndares elaborados en 2002, y de reforzar los mecanis- mos de medicin y evaluacin de aprendizajes en fun- cin de esos estndares. de aprendizaje 85 SEGUNDA PARTE [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] COSTA RICA COSTA RICA IIMEC, Universidad de Costa Rica y Departamen- to de Pruebas Nacionales (Ministerio de Educacin) Pruebas de conocimien- tos Pruebas Nacionales de Bachillerato o de Conclusin del II Ciclo de EGB Primer ingreso Destrezas cognoscitivas 1986 1987 1989-1990 1996 1997 1988-2003 [7] 1994-1996 1996 3, 6, 9, 11/ 12 6, 9, 11/12 3,6,9 3, 6, 9 3, 6 Bachillerato 1 1 L, M L, M, CS, CN L, M, CS, CN L, M, CS, CN L, M, CS, CN L, M, CS, CN, LE CN CN MN MN MN CN G, P G, P G, U, P G, U, P OREALC 1997 (No concluy proceso de evaluacin) 86 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN Marco institucional Las primeras acciones de evaluacin estandarizada en Cos- ta Rica comenzaron en 1986 en manos del IIMEC, Institu- to de Investigacin para el Mejoramiento de la Educacin Costarricense, en la Universidad de Costa Rica, y por soli- citud del Ministerio de Educacin para realizar una evalua- cin formativa de la educacin bsica. Luego, a partir del ao 1988 y por encargo del Consejo Superior de Educa- cin, el IIMEC dise e implement las pruebas de gra- duacin del Bachillerato. En 1996 venci el convenio entre el Ministerio de Educacin y el IIMEC y en 1997 se esta- bleci el CENE-EDU, Centro Nacional de Evaluacin de la Educacin, dependiente del Consejo Superior de Educa- cin. El CENE-EDU fue disuelto poco tiempo despus, en 1998, y actualmente la medicin nacional de aprendizajes se administra desde la Divisin de Control de Calidad y Macroevaluacin del Sistema Educativo (Departamento de Pruebas Nacionales), rgano funcional del Ministerio de Educacin que aplica pruebas tanto para el sistema de edu- cacin formal como para el Subsistema de Educacin Abierta (Programa de Alfabetizacin por Suficiencia, Ba- chillerato a Distancia y Bachillerato por Madurez). Otra dependencia del Ministerio de Educacin, el Departamento de Investigacin Educativa, realiza estudios secundarios sobre la base de los datos de las pruebas nacionales, aun- que su relacin con la Divisin de Control de Calidad es aparentemente muy dbil. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)], U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia], P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. [7] Existieron en dcadas anteriores 87 SEGUNDA PARTE Currculo y estndares Las pruebas de conocimiento de todos los niveles, incluido el Bachillerato, estn referidas al currculo nacional vigen- te, sobre el cual se construy una serie de Temarios de Referencia para la elaboracin de las matrices. La elabora- cin de esos Temarios, sin embargo, fue realizada especfi- camente por los equipos de evaluacin, sin la participacin de los equipos de desarrollo curricular del Ministerio. Tam- poco se han utilizado como referentes los estndares elabo- rados por la CECC. Los temarios son aprobados por el Consejo Superior de Educacin (rgano de autoridad mxi- ma en el sistema educativo costarricense), que a su vez consulta con curriculistas de las diversas asignaturas antes de su aprobacin anual. Tipos de pruebas Las pruebas de destrezas cognoscitivas fueron muestrales y referidas a normas. Las pruebas de Bachillerato, as como las Pruebas Nacionales de Conclusin del II y III ciclo de EGB, tambin son normativas pero de cobertura universal en esos niveles de escolaridad. Algunas aplica- ciones de estas ltimas (1996-1997) se realizaron mues- tralmente y mediante pruebas referidas a criterios. Todas las pruebas censales sumativas (promocin y graduacin) constituyen el 60% de la calificacin final del alumno en las asignaturas evaluadas. En todos los casos, las pruebas se basan en un modelo de respuestas de opcin mltiple nicamente, excepto en la prueba de Bachillerato en la cual se evala tambin la redaccin de ensayos. Se inten- t la evaluacin de produccin escrita en las dems prue- bas, para ser corregida por profesores designados en cada escuela, pero investigaciones del IIMEC demostraron lue- go que las correcciones eran inapropiadas y la experien- cia fue discontinuada a partir del ao 1991. Tipos de reporte Algunos informes reportan los resultados nacionales y re- gionales en forma criterial, es decir por porcentajes de alumnos que respondieron correctamente a los temes de los diferentes objetivos de cada rea curricular. Tal es el caso del informe comparativo 1996-1997, que buscaba lo- grar una medicin de impacto de las medidas correctivas tomadas desde el Ministerio de Educacin en esos aos. Otros informes, como el referente a un estudio muestral de 1998, presentan las medias aritmticas de logro por objeti- vo en cada rea curricular evaluada a nivel nacional, y 88 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN luego desagregadas por gnero, regin, tipos de escuela (ta- mao), y tipos de administracin (pblico o privada). Se ofrecen tambin anlisis descriptivos de los resultados, des- cripciones de las principales dificultades que presentaron los alumnos y un conjunto de recomendaciones metodolgicas. Los informes oficiales sobre las pruebas de Bachillerato pre- sentan los resultados agregados al nivel nacional, y desagre- gados al nivel regional por asignatura y modalidad, y en forma de porcentajes de alumnos que promocionaron en cada asignatura. Se presenta tambin una discusin de los resultados y un conjunto de conclusiones y recomendaciones para el mejoramiento del nivel de aprendizajes. Estudios es- pecficos realizados por la Divisin de Control de Calidad del Ministerio ofrecen tambin datos sobre correlaciones en- tre resultados de la prueba y el rendimiento de los alumnos en Educacin Diversificada, as como informaciones sobre el valor predictivo de las pruebas de Bachillerato respecto al desempeo de los alumnos graduados en algunas carreras de educacin superior. Uso y difusin de La Divisin de Control de Calidad produce informes dife- renciados de resultados para autoridades superiores del MEP, autoridades regionales y escuelas, incluyendo padres y alumnos. Asimismo, se producen informes tcnicos para investigadores y profesionales acadmicos, as como para la prensa. Adems de los informes formales, se realizan con frecuencia estudios de profundizacin sobre los resul- tados, tales como los mencionados en el apartado anterior. Las pruebas de Bachillerato y las de Conclusin del II y III ciclo de la EGB son de altas implicancias para los alum- nos, representando el 60% de la calificacin individual. El otro 40% se deriva del promedio general de los ltimos tres aos de estudio en cada asignatura. En el caso del bachillerato, ese 40% se deriva del promedio de cinco asig- naturas en los dos ltimos aos de estudio. Los resultados de las pruebas han tenido hasta el momento escaso impacto en las decisiones de poltica educativa al nivel nacional, con excepcin de las modificaciones especficas realizadas sobre los temarios de evaluacin o sobre las pruebas mis- mas. Sistemas subnacionales No se han desarrollado sistemas subnacionales de evalua- de evaluacin cin. resultados 89 SEGUNDA PARTE Pruebas internacionales Costa Rica particip en la prueba del LLECE- 1997, pero de aprendizaje por razones de organizacin no concluy el proceso de evaluacin y por lo tanto no public los resultados fina- les. Avances observados La larga trayectoria en materia de medicin estandariza- da de aprendizajes puede considerarse un avance en tr- minos de la capacidad tcnica desarrollada a lo largo de los aos. En general, y a pesar de que persiste el debate sobre la utilidad de las pruebas nacionales, la opinin pblica parece favorecer el sostenimiento de los operati- vos anuales de medicin. Dificultades observadas Los datos recogidos por las pruebas anuales no han sido utilizados mayormente para la toma de decisiones de poltica o para el diseo y mejoramiento de programas orientados a elevar la calidad de los aprendizajes. El uso de los datos parece estar restringido casi exclusivamente a las decisiones sobre promocin y graduacin de los estudiantes, lo cual cuestiona el valor evaluativo-forma- tivo potencial de las pruebas. 90 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN Marco institucional La medicin y evaluacin de aprendizajes en Cuba se realiza a travs del SECE, Sistema de Evaluacin de la Calidad de la Educacin, que es una unidad tcnica del Instituto Central de Ciencias Pedaggicas, organismo adscrito al Ministerio de Educacin. El equipo de eva- luacin est integrado por investigadores del Instituto y representantes electos de las direcciones de Supervisin, de Educacin Primaria, de Educacin Bsica Secunda- Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] CUBA CUBA 1975 1996-1998, 2000 2002 3, 4, 6, 9, 12 6, 9, 12 6, 9, 12 L, M L, M L, M MR MN CN G, U CD OREALC 1997 [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)], U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia], P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. 91 SEGUNDA PARTE ria, de Educacin Preuniversitaria, y de la Direccin de Formacin y Capacitacin Docente (20 personas en to- tal). Este grupo, a su vez, se apoya logsticamente en grupos provinciales de evaluacin, y en tareas de coor- dinacin que realiza la Universidad Pedaggica Nacio- nal. Las acciones evaluativas del SECE son de carcter en especial investigativo, a diferencia de otros progra- mas anteriores de evaluacin nacional que tenan fun- ciones de acreditacin (promocin y graduacin) de es- tudiantes de educacin bsica y preuniversitaria. Currculo y estndares En Cuba existe un currculo nacional para todos los niveles de escolaridad. Este currculo sufri modifica- ciones importantes en los aos 1975 y luego en 1987, aunque no se considera que hayan atravesado refor- mas propiamente dichas. Ms bien, las actualizacio- nes curriculares se van realizando peridicamente a partir de las informaciones recogidas a travs del siste- ma nacional de asesoramiento y supervisin, que en Cuba est fuertemente afianzado. No se cuenta con es- tndares nacionales de currculo, y no existen por el momento iniciativas para su desarrollo en el corto o mediano plazo. Tipos de pruebas Las pruebas de aprendizaje que viene aplicando el SECE desde 1996 son referidas a normas y se basan en un modelo de temes de opcin mltiple y tambin de pre- guntas abiertas. La cobertura es censal al nivel de las escuelas y muestral al interior de cada institucin. Esto implica que los resultados son representativos al nivel municipal, provincial y nacional, pero no al nivel esco- lar debido al tamao de la muestra en cada centro educa- tivo. Los instrumentos, adems de medir el desempeo estudiantil en lenguaje y matemticas, levantan informa- cin sobre aspectos axiolgicos y actitudinales de los estudiantes. A travs de cuestionarios de contexto apli- cados a docentes, alumnos y familias, se estudia tambin el efecto sobre los aprendizajes de algunas variables ex- traescolares, tales como el nivel sociocultural de los alumnos, gnero y grupo racial de pertenencia. Se reali- zan tambin comparaciones entre el desempeo acad- mico de los alumnos en las pruebas estandarizadas, y el desempeo alcanzado en las mismas reas de conoci- 92 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN miento segn la calificacin que realizan los docentes en las escuelas. Tipos de reporte Informacin no disponible. Uso y difusin de Los resultados de las pruebas han sido utilizados prin- cipalmente en eventos masivos de capacitacin do- cente, va televisin nacional, y a travs del asesora- miento continuo que reciben las escuelas por parte de equipos tcnicos locales y provinciales. A los Conse- jos de Direccin de Educacin de las provincias se les entrega un informe con los resultados y una gua ex- plicativa para su interpretacin. Los datos se utilizan tambin para estudios de casos que profundizan la in- dagacin sobre las razones que explican los resulta- dos insuficientes en las escuelas. Sistemas subnacionales No se han desarrollado sistemas subnacionales de evaluacin. Pruebas internacionales Cuba particip en la prueba internacional comparada del LLECE- 1997. Avances observados Las autoridades del Instituto Central de Ciencias Pe- daggicas sostienen que existe una poltica de inte- gracin entre las diferentes reas del Ministerio de Educacin, lo cual ha permitido que se difundan los datos de las evaluaciones de rendimiento acadmico, y que se comprenda su importancia para el diseo de polticas educativas ms eficaces. Adems, se consi- dera que el uso extensivo que se ha dado a los datos para la capacitacin docente ha contribuido positiva- mente a la legitimacin del sistema de evaluacin es- tandarizada que se realiza desde el Instituto. Dificultades observadas Se considera que es necesario superar las diferencias de percepcin que sobre la evaluacin, y las formas de realizarla, tienen los docentes y los investigadores- evaluadores participantes del SECE. Es decir, a pesar de que el sistema de evaluacin externa ha ganado legitimidad, tal como se explic en el apartado ante- rior, los docentes no siempre perciben que los resulta- dos de las pruebas reflejan fielmente el desempeo de de evaluacin de aprendizaje resultados 93 SEGUNDA PARTE sus estudiantes. Respecto al rol de la evaluacin para el diseo de polticas, y pese a que los resultados se entregan formalmente a las Comisiones Centrales de Asignatura (comisiones de especialistas encargados de revisar el currculo), se considera que aun es nece- sario reforzar el uso de los datos para el mejoramien- to curricular. Proyeccin a futuro Se espera que los datos de las evaluaciones tengan mayor impacto sobre los procesos de desarrollo y ac- tualizacin curricular. Asimismo, se espera que el sis- tema de evaluacin externa gane mayores grados de legitimidad entre los docentes. 94 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN El Sistema Nacional de Medicin de Logros Acadmicos APRENDO se gest y fue implementado entre los aos 1994 y 2000 dentro del marco del Proyecto EB/ PRODEC (Proyecto de Desarrollo, Eficiencia y Calidad de la Educacin Bsica), financiado por el Banco Mun- dial y con recursos del Ministerio de Educacin. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] ECUADOR ECUADOR APRENDO- Sistema Nacional de Medicin de Logros Acadmicos 1994-2000 1996-2000 3, 7, 10 L, M MN G, U, P [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. Marco institucional 95 SEGUNDA PARTE APRENDO no perteneci a la estructura orgnica del Ministerio, y sus actividades cesaron una vez concluido el convenio financiero con el Banco Mundial. Todos los operativos de evaluacin fueron diseados e implemen- tados con el asesoramiento tcnico de la Universidad Catlica. Las responsabilidades por la medicin y eva- luacin de aprendizajes fueron transferidas a los equipos tcnicos del Ministerio de Educacin en el ao 2001, aunque hasta el momento no se ha desarrollado un siste- ma de evaluacin que reemplace o contine con las ac- ciones de APRENDO. Ecuador llev a cabo una reforma curricular y aprob los nuevos marcos curriculares nacionales en 1996. El sistema de evaluacin APRENDO comenz la tarea de definicin de destrezas cognitivas para su evaluacin con anterioridad a la aprobacin del nuevo currculo ofi- cial. Las pruebas de rendimiento aplicadas por APRENDO hasta el ao 2000 fueron muestrales y diseadas con referencia a criterios. Cada alumno responda cuatro preguntas por destreza, todas las cuales se presentaban en formato de opcin mltiple. Las pruebas fueron acompaadas por cuestionarios de contexto escolar y ex- traescolar a alumnos, padres, docentes y directores. No se dispone de informacin sobre las variables especfi- cas estudiadas. Los informes globales de resultados muestran, en forma de grficos, los porcentajes de alumnos que lograron cada una de las destrezas evaluadas y, ms detallada- mente, cada uno de los niveles de dominio logrado por destreza. Esos niveles se clasifican en inicio (0 1 res- puestas correctas por destreza), avance (2 respuestas co- rrectas), y dominio (3 4 respuestas correctas). Los va- lores se presentan agregados al nivel nacional, y desagregados por regin geogrfica (sierra o costa, y agregados provinciales dentro de cada regin), tipo de escuela (fiscal o privada), y mbito geogrfico (urbano o rural). Se ofrece tambin una descripcin narrativa de los resultados de diferentes subpoblaciones en forma comparada. Se presenta finalmente un conjunto de con- Currculo y estndares Tipos de pruebas Tipos de reporte 96 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN clusiones generales y las implicancias de los resultados para el diseo de polticas de mejoramiento de la cali- dad de los aprendizajes. Los informes oficiales no pre- sentan resultados de las encuestas de contexto, ni an- lisis de factores asociados al rendimiento acadmico. Los informes generales sobre resultados fueron di- fundidos mediante medios masivos de comunicacin, y se distribuyeron a universidades, sindicatos e ins- titutos pedaggicos. Tambin se realizaron presenta- ciones pblicas, las cuales fueron comentadas poste- riormente por medios de prensa local. El equipo de APRENDO elabor y present al Ministerio de Edu- cacin una propuesta de capacitacin docente a par- tir de los resultados y de acuerdo a los contenidos de la reforma curricular, pero el proyecto no logr con- cretarse. Tambin se propuso a las facultades de edu- cacin de diferentes universidades un cambio curri- cular de formacin docente basado en los resultados de APRENDO, pero esto tampoco fue llevado a cabo. Los informes de resultados tambin fueron en- tregados a las escuelas participantes de la muestra, aunque de desconoce qu tipo de uso se dio a los datos en ese mbito. Solo se dispone de informacin sobre escuelas privadas con buenos resultados que utilizaron los datos como publicidad institucional. Hasta el momento en que cesaron los operativos de APRENDO, los resultados no haban sido utilizados para informar decisiones de poltica educativa al ni- vel nacional. No se han desarrollado sistemas subnacionales de me- dicin de aprendizajes. Ecuador no ha participado en pruebas internacionales comparadas de aprendizaje. El proyecto APRENDO contribuy significativamen- te al desarrollo de capacidades locales en medicin de aprendizajes y proporcion, mientras se mantu- vieron los operativos, datos sobre rendimiento aca- dmico que no haban sido estudiados anteriormente en Ecuador. Uso y difusin de resultados Sistemas subnacionales de evaluacin Avances observados Pruebas internacionales de aprendizaje 97 SEGUNDA PARTE El hecho de que el sistema de evaluacin dependiera, no de la estructura orgnica del Ministerio de Educacin sino de un proyecto especial de cooperacin internacio- nal, signific que las capacidades tcnicas desarrolladas y los datos recogidos de las evaluaciones nunca fueran adecuadamente transferidas a los equipos de planta mi- nisteriales. En un documento de noviembre de 2002 titulado Con- trato Social por la Educacin en el Ecuador, y publica- do electrnicamente por el Ministerio de Educacin y Culturas, se anuncia la intencin de crear un sistema integral de evaluacin que abarque no solamente los aprendizajes de los alumnos sino todas las instancias de gestin y prctica educativa en el sistema. Hasta el mo- mento no se dispone de informaciones sobre programas diseados o implementados para llevar a cabo esas ac- ciones. Dificultades observadas Proyeccin a futuro 98 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] EL SALVADOR EL SALVADOR Ministerio de Educacin SINEA - Sistema Nacional de Evaluacin de los Aprendizajes SABE PAES- Prueba de Aprendizaje y Aptitudes para Egresados de Educacin Media 1993 1993 1994 1995 1996 1998 2001 1997-2004 Ed. Parvularia (6 aos), 1, 2 3, 6, 9, 2M 3, 4, 5, 6 3, 5 3, 4, 5 3, 6, 9, 2M 3, 6, 9 2M, 3M (Tcnica) L, M, CS, CN, ES L, M, CS, CN, ES L, M, CS, CN, ES L, M, CS, CN MN MN MN CN G G G, U U DC, CG DC, CG DC, SES 99 SEGUNDA PARTE El proyecto SABE de evaluacin de aprendizajes en edu- cacin bsica depende de la Direccin Nacional de Moni- toreo y Evaluacin del Ministerio de Educacin. Los ob- jetivos de evaluacin del proyecto han ido mutando a lo largo de la ltima dcada, dependiendo de los cambios en la administracin sectorial, de los requisitos de monitoreo de las agencias internacionales de financiamiento (AID y Banco Mundial, principalmente), y de programas de eva- luacin contratados para organizaciones privadas (IN- CRE, Intercultural Center for Research in Education). Por su parte, las pruebas para egresantes de la educacin me- dia (PAES), si bien tienen carcter oficial y estn norma- das por la Ley General de Educacin, son diseadas y administradas descentralizadamente por la Universidad Centro Americana de El Salvador. Los marcos curriculares nacionales (educacin parvula- ria y grados 1 a 9) fueron aprobados inicialmente en el ao 1991, pero sufrieron modificaciones hasta el ao 1997. Adicionalmente, El Salvador particip del proyec- to de elaboracin de estndares promovido por la CECC, para lo cual se realiz una amplia consulta, a modo de validacin, con representantes del medio do- cente, de la sociedad civil, de diferentes cuadros tcni- cos del sector educativo y del sector productivo. Los procesos de implementacin de esos referentes curricu- lares se vieron interrumpidos por causa de los terremo- tos sufridos en el ltimo quinquenio, y por lo tanto las escuelas no han tenido acceso universal a los documen- tos prescriptivos. Existe cierto grado de consenso sobre la necesidad de resolver este vaco normativo pero an no se logran acuerdos firmes sobre cmo llevarlo a la prctica. No se descarta una nueva ronda de validacin de ambos referentes curriculares. El proyecto SABE de evaluacin se desarroll en forma paralela a la elabora- cin de los marcos curriculares nacionales. Por tanto, las [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos, SES=Seleccin educacin su- perior. Marco institucional Currculo y estndares 100 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN matrices de referencia fueron incorporando gradualmen- te los contenidos prescritos por esos marcos, con cierto grado de participacin de los equipos de desarrollo cu- rricular en el proceso de validacin de temes. Para las pruebas PAES, sin embargo, no se han utilizado los con- tenidos curriculares ni los estndares centroamericanos. Estas pruebas son construidas sobre la base de un con- junto de habilidades cognitivas universales (Taxonoma de Bloom) pero no estn validadas curricularmente des- de los marcos prescriptivos vigentes. Las pruebas de SABE son muestrales y diseadas sobre un modelo de preguntas de opcin mltiple. Adicional- mente, se aplican pruebas de produccin de texto escrito y oral a una submuestra de alumnos. Los instrumentos estn referidos a criterios de evaluacin consistentes en 10 objetivos de dominio bsico que incluyen contenidos especficos para cada rea curricular evaluada. Reciente- mente, el proyecto SABE ha experimentado con la meto- dologa de valor agregado, con aplicaciones diferenciales en tres municipios correspondientes a las tres regiones geogrficas principales del pas. Sin embargo, las aplica- ciones de seguimiento de cohorte fueron luego disconti- nuadas y no se lleg a concretar el anlisis longitudinal. Tambin se han realizado aplicaciones a submuestras de centros educativos pertenecientes a programas especiales, tales como el de Escuela 10. Las aplicaciones de SABE se acompaan con cuestionarios de contexto que son res- pondidos por docentes, directores de escuela y padres de familia. Se relevan datos sobre variables personales, es- colares y de contexto socio-econmico. Originalmente las pruebas y los cuestionarios eran administrados por equi- pos diferentes, lo cual dificultaba la tarea de anlisis de factores asociados al rendimiento, pero actualmente se est coordinando ms racionalmente la aplicacin y anli- sis de los datos derivados de ambos instrumentos. La prueba PAES de egreso de bachillerato es censal y, aun- que fue concebida originalmente como una prueba referi- da a normas, actualmente es elaborada con referencia a criterios. Los informes de SABE presentan los resultados en for- ma de promedios porcentuales de los objetivos alcanza- Tipos de pruebas Tipos de reporte 101 SEGUNDA PARTE dos por los estudiantes a nivel nacional, y luego des- agregados por departamento geogrfico, zona, gnero y tipo de escuela. Tambin se reporta los porcentajes de respuestas para cada una de las opciones de los temes, as como el porcentaje de alumnos que alcanz los dife- rentes objetivos evaluados en cada rea. La prueba PAES de egreso de bachillerato devuelve los resultados a los estudiantes individualmente. En el informe cada estudiante obtiene informacin sobre las competencias evaluadas en cada asignatura, el nivel de logro alcanza- do en dichas competencias, el promedio global de rendi- miento en cada una de las reas, y una explicacin con- ceptual de los niveles de logro alcanzados. En general, los resultados de las pruebas SABE no han tenido impacto en la toma de decisiones de poltica. Esto se atribuye principalmente a que el sistema de eva- luacin funcion durante muchos aos en forma aislada de otros equipos tcnicos del Ministerio, y tampoco se hicieron campaas de sensibilizacin y estmulo a la participacin de la comunidad educativa en los procesos evaluativos. Consecuentemente, no ha existido una real demanda de informacin por parte de los usuarios cen- trales y locales. A partir del ao 1998 se introdujeron cambios de organizacin del sistema para permitir ma- yor participacin de los equipos de currculo en la vali- dacin de los instrumentos, as como la participacin de los equipos docentes en la aplicacin de las pruebas. Los resultados se devuelven a todas las escuelas de la muestra y se realiza en forma de talleres orientados al desarrollo de capacidades de anlisis y comparacin de los datos. La respuesta de los docentes a las informacio- nes se considera altamente positiva, pero no se ha podi- do dar a estas devoluciones la continuidad que se espe- raba. Los resultados de la prueba PAES se entregan a los estudiantes individualmente. En el ao 1999, adems, fueron devueltos a cada colegio indicando el resultado de cada estudiante, el promedio de cada seccin (grupo) y de la institucin, en forma desagregada por asignatura y por modalidad (bachillerato general y tcnico), y en forma comparada con otros departamentos y con el pro- medio nacional. Los porcentajes de aciertos obtenidos por la institucin se presentaron desagregados por cada Uso y difusin de resultados 102 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN una de las reas temticas evaluadas, y mostrando los niveles de dominio cognitivo alcanzados: conocimien- to, comprensin y anlisis. La prueba PAES es obliga- toria para los estudiantes egresantes del bachillerato pero no implica consecuencias para su graduacin. Sin embargo, los resultados ya estn comenzando a utili- zarse por las universidades para la seleccin de postu- lantes. Junto con los talleres de devolucin, se realiz una encuesta de cobertura nacional donde directores y docentes expresaban sus inquietudes respecto a las causas que pueden explicar los bajos resultados: condi- ciones escolares, caractersticas de los alumnos y su entorno, caractersticas de la prueba misma, adecua- cin de las polticas de apoyo (capacitacin docente, materiales), currculo, etc. Adicionalmente, se recogie- ron las propuestas de mejoramiento expresadas por los equipos docentes para cada uno de esos factores. Los resultados de la encuesta fueron sistematizados y pu- blicados en forma de libro por el Ministerio de Edu- cacin. No se han desarrollado sistemas subnacionales. No se ha participado en este tipo de pruebas. Se han dado pasos importantes para reforzar la validez curricular de las evaluaciones y por comenzar a difun- dir ms ampliamente los resultados dentro del Ministe- rio de Educacin y entre las escuelas evaluadas. Hasta el momento, no se conocen medidas de poltica ni repercusiones en la opinin pblica derivadas de los resultados de las evaluaciones. Se espera cambiar la estrategia de capacitacin me- diante el uso de los resultados de las pruebas SABE. Una de las estrategias pensadas es la del uso de los datos para capacitar a asesores pedaggicos, quienes a su vez ofreceran asesoramiento tcnico a las escuelas que lo solicitaran. Sistemas subnacionales de evaluacin Pruebas internacionales de aprendizaje Avances observados Dificultades observadas Proyeccin a futuro 103 SEGUNDA PARTE [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] GUATEMALA GUATEMALA SINMELA- Sistema Nacional de Medicin del Logro Acadmico/ PRONERE- Programa Nacional de Evaluacin del Rendimiento Escolar PRONERE + Jurez Asociados DIGEBI Ministerio de Educacin/ Universidad de San Carlos 1992-1996 1998-2000 2004 2003 2004 3 3, 6 1, 3 ltimo ao de Secundaria L, M ME MN [7] MN (Escuelas pblicas, nicamente) MN MN G, U, P G DC 104 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN Las primeras evaluaciones estandarizadas de aprendiza- jes se realizaron a principios de la dcada pasada en el marco del Proyecto BEST para el Fortalecimiento de la Educacin Bsica (USAID), bajo la coordinacin del Centro Nacional de Pruebas de Rendimiento Escolar. Esas evaluaciones, ms tarde discontinuadas, se utiliza- ron para evaluar la implementacin del Proyecto en las escuelas participantes. En 1997, como parte del Proyec- to de Reforma Educativa y con apoyo financiero del Banco Mundial se cre el SINMELA, luego denominado PRONERE, en convenio entre el Ministerio de Educa- cin y la Universidad del Valle de Guatemala. La Uni- versidad dise y ejecut los operativos de evaluacin hasta el 2001, ao en que caduc el convenio financiero con el Banco Mundial. El PRONERE fue desmantelado y no ha sido reemplazado con otros programas de eva- luacin. Guatemala no cuenta con un currculo nacional unifica- do, ni se han avanzado propuestas de estndares en los ltimos aos. Las pruebas del PRONERE se elaboraron originalmente utilizando un banco de temes facilitado por una institucin educativa privada, y ms adelante se construy una matriz de referencia sobre la base de observaciones de clase y reportes de docentes sobre cobertura curricular en aula. Sin embargo, no se cons- truy una matriz de referencia que reflejara acuerdos [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. [7] La muestra incluye una sobrerepresentacin intencional de escuelas de programas especiales Marco institucional Currculo y estndares 105 SEGUNDA PARTE nacionales sobre prioridades de aprendizaje para la evaluacin. Las pruebas son muestrales, representativas al nivel na- cional, fueron construidas con referencia a normas y contienen 40 preguntas en cada rea evaluada. Los ins- trumentos fueron elaborados y aplicados en espaol y en cuatro lenguas originarias mayoritarias. En muchas es- cuelas bilinges, sin embargo, no se pudo aplicar prue- bas pues los estudiantes abandonan antes de llegar el 3 er grado de escolaridad. Las pruebas se acompaan con cuestionarios de contexto a estudiantes, maestros y di- rectores de centros educativos. Las pruebas de DIGEBI para escuelas de educacin bilinge, son referidas a cri- terios Los informes elaborados por PRONERE consisten en descripciones narrativas y comparativas entre subpobla- ciones de alumnos respecto al porcentaje de respuestas correctas que lograron en promedio para cada rea eva- luada. Los datos se presentan agregados al nivel nacio- nal, y desagregados al nivel departamental, por mbito (rural, urbano) y por grupo lingstico. Con la informacin obtenida se realizan resmenes eje- cutivos y presentaciones grficas para autoridades na- cionales y regionales, y tambin para universidades for- madoras de docentes. Las descripciones narrativas y las recomendaciones pedaggicas presentadas se basan en una seleccin de los temes de la prueba que demostra- ron ser ms difciles de responder. Se realiza una des- cripcin de los centros educativos evaluados y del nivel socioeconmico de las familias de la muestra, y se pre- sentan algunos de los factores de contexto que muestran mayor incidencia en el rendimiento acadmico de los alumnos. Estos datos se han utilizado para algunos eventos de capacitacin docente, especialmente de do- centes bilinges por medio del PRONEBI, Programa Nacional de Educacin Bilinge. En general, los resulta- dos han tenido escaso impacto en la opinin pblica y en la toma de decisiones de poltica educativa. Los re- sultados de la prueba del Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin de UNES- Tipos de pruebas Tipos de reporte Uso y difusin de resultados 106 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN CO OREALC, aplicada por el Banco Mundial, no han sido difundidos hasta la fecha. No se han desarrollado sistemas subnacionales de eva- luacin. En el ao 2002, el Banco Mundial aplic las pruebas del Laboratorio Latinoamericano de Evaluacin de la Cali- dad de la Educacin de UNESCO OREALC a una mues- tra representativa de estudiantes de 3 a 4 grado de pri- maria. La experiencia del PRONERE permiti desarrollar capa- cidades tcnicas locales para la medicin de aprendiza- jes, lo cual constituye un avance en la medida en que esas capacidades sean utilizadas para nuevos emprendi- mientos de evaluacin. Se observa tambin cierto grado de movilizacin por parte de algunos sectores de la so- ciedad civil en demanda por la continuidad y uso de las evaluaciones. La cesacin de actividades de evaluacin al trmino del convenio con el Banco Mundial, y la ausencia de volun- tad del gobierno por mantener el sistema en funciona- miento, dan cuenta de los escasos niveles de institucio- nalizacin que logr el PRONERE a pesar de sus esfuerzos por continuar las aplicaciones durante cuatro aos consecutivos. Una mayor divulgacin de los datos, as como mayores grados de participacin de actores sectoriales clave parecieran ser imprescindibles para re- cuperar y mantener el sistema de evaluacin. No existen actualmente propuestas desde el Ministerio de Educacin para la reactivacin del PRONERE u otra agencia similar. Sistemas subnacionales de evaluacin Pruebas internacionales de aprendizaje Avances observados Dificultades observadas Proyeccin a futuro 107 SEGUNDA PARTE [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] HONDURAS HONDURAS Secretara de Educacin. Componente V del Proyecto PEEP (Eficiencia de la Educacin Primaria) UMCE 1990-1994 1997 1998 1999 2000 2002-2004 1, 2, 3, 4, 5 3, 6 2, 3, 4, 6 2, 3, 4, 5 3, 6 3,6 L, M, CN, CS L, M L, M L, M L, M L, M, CN Secretara de Educacin y USAID G, U G, U G, U G, U G, U Usado para evaluar proyectos apoyados por USAID CD, FA OREALC 1997 ME (10 municipios) MN, CN MN MN MN MN 108 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN El sistema de evaluacin actual tiene origen en un acuerdo entre la Secretara de Educacin Pblica (SEP) y el Banco Mundial para el monitoreo del PROMEB, Programa de Mejoramiento de la Educacin Bsica. Anteriormente (1990-1994) existieron esfuerzos por realizar evaluaciones estandarizadas en el marco del Programa de Eficiencia de la Educacin Primaria (PEEP), financiado por USAID. Sin embargo, esas evaluaciones nunca llegaron a sistematizarse ni institu- cionalizarse. En 1995 se crea la UMCE, Unidad de Me- dicin de la Calidad Educativa, administrada por la Universidad Pedaggica Nacional Francisco Morazn. Esta Unidad cuenta con altos grados de autonoma ad- ministrativa y operativa pese a que, formalmente, re- porta directamente a la Direccin General de Evalua- cin de la Calidad de la SEP. Los operativos nacionales se organizan mediante una Red Desconcentrada de Evaluacin, que funciona en las 18 direcciones depar- tamentales, y que participan directamente en el proceso de aplicacin de las pruebas y recoleccin de datos. Hasta 2003 no se contaba en Honduras con un marco curricular nacional, sino con los Rendimientos Bsicos e Indicadores de Evaluacin del Nivel Primario, que fueron elaborados ad hoc para el PEEP, pero no todas las escuelas tuvieron acceso a este documento. Dado que este referente curricular no era apropiado para el diseo de una matriz de referencia de evaluacin, la UMCE desarroll un conjunto de objetivos e indicado- res de desempeo para las diferentes reas disciplina- res evaluadas. En el ao 2003, y luego de varios aos de debate sobre diferentes propuestas curriculares, fue aprobado oficialmente un marco curricular nacional que incorpora, entre otros referentes, los contenidos y objetivos que la UMCE vena evaluando desde 1997. Queda pendiente la culminacin del proyecto de estn- dares de la CECC, aunque no es claro aun cmo ambos referentes curriculares podrn ser integrados y poste- riormente evaluados. Las pruebas aplicadas por la UMCE son muestrales a nivel nacional, referidas a criterios y basadas princi- Marco institucional Currculo y estndares Tipos de pruebas 109 SEGUNDA PARTE palmente en un modelo de respuesta de opcin mlti- ple. En el rea de lenguaje, adems, se evala redac- cin escrita y lectura oral. Las pruebas son comple- mentadas con cuestionarios a alumnos, padres de familia, docentes y directores de centro para el estu- dio posterior de factores asociados al rendimiento. Se estudian variables de NES y otras variables intraesco- lares (incluyendo un modelo de medicin de eficacia escolar). Los equipos tcnicos han encontrado dificul- tades para establecer correlaciones confiables entre esas variables y el rendimiento acadmico, aunque la incorporacin de un modelo de anlisis jerrquico li- neal (HLM) a partir de 2002 ha permitido aumentar la confiabilidad y validez de las correlaciones. Adems del programa regular de evaluacin en los grados y reas mencionadas, la UMCE presta sus servicios para la medicin de rendimiento acadmico como indica- dor de impacto de algunos programas especficos fi- nanciados por agencias de cooperacin internacional. La UMCE produjo una serie de documentos de resul- tados entre los aos 1998 y 2001. Tales informes pre- sentan los datos de rendimiento en forma de porcenta- jes del alumnado a nivel nacional que lograron los objetivos de aprendizaje evaluados. Esos objetivos se organizan por dominios cognitivos, reas de dominio y competencias especficas. Los datos se presentan tambin desagregados por departamento, por tipos de escuela, por tipos de gestin (pblica o privada) y por situacin geogrfica. Se ofrece un anlisis descriptivo de los resultados nacionales y por departamento, un anlisis de temes seleccionados, y un conjunto de re- comendaciones pedaggicas para docentes y tcnicos locales. La UMCE realiza tambin informes sobre es- tudios longitudinales, anlisis multivariados, y anli- sis comparativos de resultados entre grados por rea de aprendizaje, as como de factores asociados al ren- dimiento. Los informes oficiales son elevados a las autoridades polticas de la SEP y a autoridades educativas regio- nales. Se espera llegar tambin a las escuelas, a los padres de familia y al pblico en general, aunque di- Tipos de reporte Uso y difusin de resultados 110 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN versos obstculos, operativos y presupuestarios, han limitado este tipo de difusin. Sin embargo, se reporta que alrededor de 2.000 maestros, directores y tcnicos locales han tenido acceso a los datos desde 1998. Esos datos llegan, en muchos casos, de la mano de los equipos tcnicos encargados de las capacitaciones do- centes. Actualmente se est realizando una campaa de divulgacin de los resultados de aos anteriores con la asistencia de organizaciones internacionales especializadas. Adems, a partir de 2003, los resulta- dos de las evaluaciones se encuentran disponibles en la pgina web de la UMCE. No se han desarrollado sistemas subnacionales de evaluacin. Honduras particip en el estudio comparado del LLE- CE-1997. La UMCE ha logrado un alto grado de consolidacin interna, en trminos de constitucin y capacitacin de equipos tcnico-profesionales, y de continuidad en los operativos de evaluacin a travs de los aos. Asimis- mo, vale destacar los esfuerzos por desarrollar un mo- delo psicomtrico de alto valor pedaggico, especial- mente ante la ausencia de referentes curriculares slidos y actualizados en el mbito nacional. Destaca principalmente la escasa comunicacin y d- biles acuerdos entre la UMCE y la SEP sobre las me- tas y usos de la evaluacin, lo cual resulta en la sub- utilizacin de los datos para la toma de decisiones de poltica. Desde el punto de vista tcnico, las limita- ciones presupuestarias no han permitido expandir la muestra y as favorecer anlisis jerrquicos multiva- riados sobre los resultados de rendimiento y las varia- bles que lo afectan. Esas dificultades, sin embargo, comenzaron a ser subsanadas a partir del ao 2002 con la introduccin del modelo de anlisis jerrquico lineal. Se espera, principalmente, lograr un mayor impacto de los resultados en la opinin pblica, en la toma de Sistemas subnacionales de evaluacin Pruebas internacionales de aprendizaje Avances observados Dificultades observadas Proyeccin a futuro 111 SEGUNDA PARTE de decisiones de poltica educativa y en el uso pe- daggico y curricular de los datos en el nivel esco- lar. Tambin se proyecta la creacin de un sistema nacional de evaluacin que integre las informacio- nes de la evaluacin externa realizada por la UMCE, con las de la evaluacin interna realizada por la misma Secretara de Educacin. Se espera, por lo tanto, que el contrato de asociacin entre Secretara de Educacin y UMCE se extienda ms all del plazo actualmente vigente (2005). 112 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN [2] Los grados de educacin media se indican con la letra M. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] MXICO MXICO SEP y SNEE Sistema Nacional de Evaluacin Educativa Evaluacin de la Educacin Primaria (EVEP) Evaluacin de Estndares Nacionales Evaluacin del factor Aprove chamiento escolar del programa Carrera Magisterial IDANIS (Instrumento de Diagnstico de Alumnos de Nuevo Ingreso a Secundaria) 1996-2000 1997-2003 1995-2005 1995-2003 1, 2, 3, 4, 5, 6 2, 3, 4, 5, 6 3, 4, 5, 6, 1M, 2M, 3M 6 L, M, CS, CN L, M L, M, CN, CS, LE Habilidades cognitivas MN MN CR CR G, U G, U G, U G, U FA I TIMSS 1995 OREALC 1997; PISA 2000, 2003 113 SEGUNDA PARTE Hasta el ao 2002, la evaluacin de la educacin en Mxico fue responsabilidad de la Direccin General de Evaluacin de la Secretara de Educacin Pblica (SEP) de la nacin. Actualmente, las acciones de evaluacin son coordinadas entre esa Direccin y el recientemente creado Instituto Nacional de Evaluacin de la Educacin (INEE), un rgano gubernamental semiautnomo que, si bien pertenece a la estructura funcional de la SEP, goza de mayores grados de autonoma administrativa y polti- ca que otros rganos de gobierno en el sector. La crea- cin del Instituto responde a una necesidad largamente debatida de contar con un sistema de evaluacin integral ms objetivo y eficiente, y menos vulnerable a las deci- siones coyunturales de la administracin sectorial. Si- multneamente, las Secretaras de Educacin de todos los estados de la Federacin cuentan con direcciones de evaluacin propias, aunque no todas constituyen siste- mas de evaluacin propiamente dichos. Los estados que han optado por desarrollar un sistema de evaluacin propio, lo han hecho siguiendo una de dos modalidades principales: la utilizacin de las pruebas nacionales me- diante muestras estaduales ampliadas o adaptadas, o bien el desarrollo de instrumentos propios y sistemas originales de difusin y uso de los resultados. En ambos casos, los estados cuentan con el apoyo tcnico de la [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos, I=Incentivos Docentes. Marco institucional 114 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN Direccin General de Evaluacin, y actualmente del Ins- tituto Nacional de Evaluacin Educativa. El currculo nacional vigente para educacin primaria y secundaria de Mxico fue aprobado en el ao 1993 den- tro de un marco general de reforma. La prescripcin y actualizacin curricular es responsabilidad casi exclusi- va de la administracin federal, con un bajo nivel de injerencia y participacin permitido a las administracio- nes estaduales. El currculo fue elaborado cuando ya se contaba con una larga experiencia en medicin de apren- dizajes y, por lo tanto, se dispona de gran cantidad de informacin sobre los logros y dificultades de aprendi- zajes de los estudiantes. Sin embargo, la participacin y capacidad de influir en las decisiones curriculares por parte de los equipos de evaluacin fue marginal, y sigue siendo dbil en la actualidad. Las pruebas nacionales de aprendizaje (excepto el IDANIS y el EXANI, que miden habilidades cognitivas generales) estn referidas al cu- rrculo nacional, aunque para la elaboracin de las ma- trices de referencia la Direccin General de Evaluacin realiz una especificacin de contenidos y competencias acadmicas en forma paralela o complementaria a la prescripcin curricular oficial. Ese proyecto de especifi- cacin curricular, as como de los instrumentos de medi- cin elaborados sobre esa base, se denomin estndares nacionales de educacin primaria y de educacin se- cundaria. Estos estndares no pueden considerarse pro- piamente tales desde una perspectiva de poltica curricu- lar, aunque han sido tiles para definir ms acabadamente las expectativas de aprendizaje que se evalan anualmen- te en las reas de matemticas y lenguaje. Todas las pruebas nacionales diagnsticas son muestra- les. Las pruebas que se aplican para el programa de Ca- rrera Magisterial son censales para la poblacin de do- centes registrados en el programa. La prueba IDANIS es censal en el Distrito Federal, y en los estados se aplica de acuerdo a la demanda puntual de cada entidad. Todas las pruebas estn referidas a normas, aunque los resulta- dos se reportan por niveles de desempeo determinados a posteriori. Las pruebas contienen temes de opcin de respuesta mltiple y, ocasionalmente, requieren el desa- Currculo y estndares Tipos de pruebas 115 SEGUNDA PARTE rrollo de respuestas abiertas. Las pruebas aplicadas en el programa de Carrera Magisterial, que responden los alumnos de los docentes participantes, constituyen un indicador ms, entre otros, de desempeo profesional considerados en el esquema de incentivos del programa. Tambin se ha desarrollado un programa de autoevalua- cin de centros educativos. El programa se basa en una adaptacin del modelo oficial escocs de autoevaluacin y contiene 33 indicadores sobre gestin escolar, prctica pedaggica e infraestructura. Las escuelas evalan su propia gestin sobre la base de esos indicadores y elevan los resultados a la Direccin General de Evaluacin. Esta, a su vez, procesa los datos y elabora los informes correspondientes. El modelo est siendo utilizado por las 15.000 escuelas que participan del Programa de Escuelas de Calidad. Adicionalmente, se aplican en Mxico ex- menes de egreso de educacin secundaria y bachillerato para la seleccin de alumnos en transicin hacia ciclos superiores de educacin (bachillerato y educacin supe- rior, respectivamente.) Estos exmenes se denominan EXANI I y II, y evalan habilidades cognitivas as como conocimientos especficos en ocho disciplinas diferen- tes. En cuanto al estudio de factores asociados al rendi- miento, se han realizado anlisis bi y multivariados con- siderando variables intraescolares (Ej. conocimientos y experiencia docente) y extraescolares (Ej. nivel de estu- dios de los padres, asistencia del alumno a educacin preescolar). Estos estudios han sido complementados con seguimientos cualitativos sobre los resultados de aprendizaje. Segn los ltimos lineamientos de poltica evaluativa difundidos por el INEE, las evaluaciones na- cionales de aprendizaje que se apliquen en los prximos aos sern censales en algunos grados clave de escolari- dad, y sern complementadas con evaluaciones a docen- tes, directivos y centros educativos en su conjunto. Se elaboran informes ejecutivos para autoridades centra- les donde se presentan los resultados globales desagre- gados al nivel estadual, por tipo de dependencia geogr- fica (urbana o rural), y por porcentajes de escuelas que alcanzan cada uno de los niveles de desempeo estable- cidos (muy bajo, bajo, medio, alto, muy alto). Supervi- sores locales y escuelas reciben informes orientados al Tipos de reporte 116 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN mejoramiento pedaggico, aunque esto ocurre en forma irregular y no existen formatos estandarizados de reporte para todo el pas. En los informes IDANIS se muestran los promedios de rendimiento al nivel nacional y esta- dual, en forma de grficos que reportan la media aritmti- ca y desviacin estndar para cada caso. Los resultados de las evaluaciones cualitativas y las investigaciones rea- lizadas por la Direccin de Evaluacin son devueltos a las escuelas. Los informes describen las caractersticas insti- tucionales de las escuelas que muestran mejoras de sus resultados en el tiempo, as como de aquellas cuyo rendi- miento ha sido decreciente. Tambin se ofrecen recomen- daciones para replicar esas investigaciones en cada cen- tro, a modo de autoevaluacin, y se presenta un conjunto de recomendaciones pedaggicas y organizacionales para elevar la calidad de los aprendizajes. Los datos recogidos por las evaluaciones nacionales co- menzaron a hacerse pblicos en el ao 2000. Anterior- mente, solo se conocan al interior de la Secretara de Educacin. En los ltimos dos aos se han publicado al- gunos informes oficiales sobre los operativos de evalua- cin realizados en los ltimos aos, resmenes de los re- sultados a nivel nacional y estadual e informes para las escuelas con los datos recogidos por los instrumentos de autoevaluacin escolar y las investigaciones cualitativas llevadas a cabo por la Direccin General de Evaluacin (ver apartado anterior). El uso ms estable que se ha dado a los datos hasta el momento es el de evaluacin para incentivos de Carrera Magisterial, as como de gradua- cin y seleccin de alumnos mediante las pruebas EXANI I y II de egreso de secundaria y bachillerato. El nuevo Instituto Nacional de Evaluacin Educativa ha hecho ex- plcita su intencin de introducir gradualmente pruebas de aprendizaje censales en grados clave de la escolaridad bsica, las cuales contribuirn a decidir, junto con la eva- luacin que realizan los docentes, la promocin y gradua- cin de los alumnos. Los nuevos lineamientos de poltica evaluativa del INEE remarcan la necesidad y el compro- miso por reforzar la transparencia tcnica de los operati- vos, la publicidad de los resultados (inclusive a alumnos y familias), as como de elaborar informes diferenciados para distintos tipos de audiencias. En los primeros meses Uso y difusin de resultados 117 SEGUNDA PARTE de trabajo del INEE ya se produjo un primer informe nacional de resultados, que fue presentado al Presidente de la Repblica, a los medios de prensa y a las adminis- traciones estaduales, adems de ser publicado en la nueva pgina web del Instituto. Varios estados de la Federacin han desarrollado sistemas independientes de medicin y evaluacin de la calidad educativa. En este trabajo se presenta detalladamente el caso del estado de Aguascalientes. Mxico ha participado en las pruebas comparativas TIMSS-1995, LLECE-1997, y PISA-2000. Destaca la experiencia tcnica en medicin de aprendiza- jes desarrollada en las ltimas dos dcadas, as como la relativa estabilidad de los equipos profesionales a cargo de los operativos. La creacin del INEE, y especialmente el largo debate que precedi su constitucin y aprobacin oficial, da muestras de la importancia que ha cobrado la evaluacin estandarizada dentro del mbito de las polti- cas de educacin pblica. La dificultad central hasta el momento ha radicado en que las mltiples mediciones realizadas no se traducen en una evaluacin sustantiva e integral de la calidad de la educa- cin. La falta de comunicacin entre unidades de la SEP, as como los todava insuficientes mecanismos de divul- gacin de los resultados, determina que los datos disponi- bles no se analicen y que no tengan mayor impacto sobre la toma de decisiones de poltica. El desafo principal para el nuevo Instituto de Evaluacin es el de lograr que los datos recogidos en los ltimos aos, y los que se obtengan a partir de 2004, sean adecua- damente analizados y utilizados para el mejoramiento de la calidad educativa. Desde el punto de vista institucio- nal, el INEE deber consolidar gradualmente su legitimi- dad dentro del sector, y ante la sociedad, proveyendo in- formaciones tiles para diferentes actores y asegurando la organicidad de acciones con otras agencias gubernamen- tales. Sistemas subnacionales de evaluacin Pruebas internacionales de aprendizaje Avances observados Dificultades observadas Proyeccin a futuro 118 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Natura- les, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regio- nal, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a do- centes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comu- nicacin. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] NICARAGUA NICARA- GUA Evaluacin del currculo transformado de 1 a 5 de Educacin Primaria Direccin Evaluacin PROYECTO APRENDES- NE- Sistema Nacional de Evaluacin de la Educacin Bsica y Media 1996 1997 1996-1997 2002 3,4 5 4, 3M 3, 6 L, M L, M L, M L, M ME ME ME MN U U G, U G, U, P DC DC ED 119 SEGUNDA PARTE La evaluacin estandarizada de aprendizajes se realiza desde la Direccin de Evaluacin del Ministerio de Edu- cacin, Cultura y Deportes, y dentro del marco del Se- gundo Proyecto de Educacin Bsica (APRENDE). Los esfuerzos de evaluacin realizados por esa Direccin hasta 1999 fueron relativamente desarticulados y caren- tes de un objetivo claro respecto al uso potencial de las informaciones recabadas. A partir del ao 1999 se crea el SNE, Sistema Nacional de Evaluacin de la Educa- cin Bsica y Media, que cuenta con el apoyo de APRENDE, BASE (USAID) y SIMEN (UNESCO), y que ha replanteado la estrategia de evaluacin y sus fi- nes especficos. El sistema de evaluacin se inscribe en un contexto de reformas importantes para la descentrali- zacin de la administracin de las escuelas pblicas, es- pecialmente a partir del Programa de Autonoma Escolar (1992) y de la erogacin de la Ley de Participacin Es- colar (2002). Informacin no disponible. Las pruebas de aprendizaje son muestrales, referidas a criterios y basadas en un modelo de respuestas de op- cin mltiple. Se acompaan con cuestionarios de con- texto escolar y extraescolar a docentes, directores, alum- nos y padres de familia. Adicionalmente, se realizan operativos para la autoevaluacin de centros educativos en una pequea muestra nacional no representativa. Los resultados de aprendizaje se reportan en forma de porcentajes de alumnos que se ubican en los niveles b- sico, intermedio y proficiente de la escala de desempe- o. Tales porcentajes se presentan en forma agregada al nivel nacional, y luego desagregada por regiones, tipos de dependencia (centros autnomos, no autnomos, y [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos, ED=Evaluacin descentraliza- cin. Marco institucional Currculo y estndares Tipos de pruebas Tipos de reporte 120 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN privados con y sin subvencin estatal), ubicacin geo- grfica (urbana o rural) y modalidad (regular o multi- grado). Adicionalmente, se presentan los resultados de los anlisis de factores asociados al rendimiento, indi- cando cules factores escolares y extraescolares mues- tran el mayor impacto sobre los aprendizajes. Desde el Ministerio de Educacin se producen informes tcnicos, resmenes ejecutivos, cuadros y grficas, y boletines informativos. Se realizan tambin talleres, pre- sentaciones y debates para docentes, directores de es- cuela, tcnicos municipales y departamentales, delega- dos municipales y departamentales y autoridades superiores en el nivel central. Se ha anunciado la publi- cacin de los resultados en la pgina web del Ministerio de Educacin pero an no se ha concretado. No se han desarrollado sistemas subnacionales de eva- luacin. Nicaragua no ha participado en este tipo de pruebas. Se observan esfuerzos, al menos en la propuesta formal de la Direccin de Evaluacin, por dotar al SNE de ma- yor significancia y utilidad para la toma de decisiones de poltica educativa y para el desarrollo curricular y pedaggico escolar. La difusin de los datos an no es suficiente para im- pactar en la opinin pblica y para movilizar la deman- da de la sociedad civil por mayores niveles de calidad educativa. Uso y difusin de resultados Sistemas subnacionales de evaluacin Pruebas internacionales de aprendizaje Avances observados Dificultades observadas 121 SEGUNDA PARTE [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] PANAM Programa de Evaluacin de la OEA Programa de Pruebas de Diagnstico CECE SINECE Sistema Nacional de Evaluacin de la Calidad de la Educacin 1981-1985 1985-1988 1992 1995 1999-2000 2000 2001 6, 6M 3, 6M 1M, 2M, 3M, 4M, 5M, 6M 3,6,9 3,6,9 3,6,9 L, M, CS, CN L, M L, M, CS, CN L, M, CS, CN L, M MR MN MN MR MN G G G G G G G 122 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN Durante las dos ltimas dcadas se ensayaron diversos proyectos de evaluacin, a cargo de diferentes agencias, pero ninguno logr institucionalizarse, ni quedan regis- tros de los datos recabados en esos operativos. El ltimo proyecto de evaluacin estandarizada fue llevado a cabo por la Direccin de Evaluacin del Ministerio de Educa- cin en los aos 2000 y 2001. Sin embargo, se trata de una evaluacin piloto con una muestra reducida. En el ao 2002, como resultado de un extenso Dilogo Inter- sectorial, se firm un decreto presidencial para la crea- cin de una nueva Direccin de Evaluacin con funcio- nes renovadas y lineamientos ms explcitos para el desarrollo de nuevos operativos y procesos evaluativos integrales. Las pruebas de los aos 2000 y 2001 fueron construidas mientras se actualizaba el currculo nacional. La matriz de referencia fue elaborada por especialistas disciplina- res y con escaso grado de participacin por parte de los equipos de currculo del Ministerio de Educacin. Un grupo de especialistas del Ministerio de Educacin y de centros educativos convocados particip en el proceso de elaboracin de los estndares promovidos por la CECC, Coordinacin Educativa y Cultural Centroameri- cana. Los estndares de ciencias naturales, ciencias so- ciales, matemtica y espaol han sido incorporados a los marcos curriculares nacionales de educacin primaria pero, segn opiniones extragubernamentales, no han sido an lo suficientemente difundidos ni acompaados con programas concretos de implementacin en las es- cuelas. Los estndares de educacin premedia y media para las reas de espaol, matemtica, fsica, ciencias naturales, ingls, ciencias sociales biologa y qumica estn siendo revisados en la actualidad y prximamente sern utilizados para realizar ajustes curriculares en 7 y 12 grado. La prueba piloto aplicada en 6 grado en el ao 2000 tena como objetivo principal relevar las capacidades bsicas de los estudiantes en la solucin de problemas, comprensin, anlisis, reflexin y sntesis. Se elabora- ron 18 temes de opcin mltiple y dos temes de pro- Marco institucional Currculo y estndares Tipos de pruebas 123 SEGUNDA PARTE duccin escrita para cada asignatura evaluada. Las prue- bas fueron acompaadas por una encuesta sobre el perfil socioeconmico de los alumnos pero las limitaciones de tiempo no permitieron procesar los datos para correla- cionarlos con los resultados finales de las pruebas.Con la experiencia adquirida en esa prueba piloto, se dise en 2001 la Prueba Piloto Nacional Comprender en las asignaturas de espaol y matemtica, para los grados 3, 6 y 9 de los Centros de Educacin Bsica General. El propsito de la misma fue medir las habilidades y actitu- des verbales y numricas en los estudiantes. Estas prue- bas tambin fueron elaboradas mediante temes de op- cin mltiple y de produccin escrita, con un total de 25 reactivos para cada una de las asignaturas evaluadas. El informe sobre la experiencia del ao 2000 consiste en una descripcin del porcentaje de alumnos que respon- di correctamente a cada destreza evaluada, en forma agregada a nivel nacional y desagregada por provincias y por regiones educativas. Se presentan tambin algunas conclusiones generales, pero insuficientemente elabora- das. Los resultados de las pruebas 2000-2001 no han tenido mayor difusin, excepto por la distribucin de informes a autoridades regionales y escuelas de la muestra. La utilizacin de los datos al interior del Ministerio de Edu- cacin tambin ha sido insuficiente. Se han realizado algunas actividades de capacitacin sobre la base de los resultados, pero la motivacin mayor para el operativo fue la de realizar investigaciones institucionales sobre niveles de logro y alcances de la implementacin del nuevo currculo. No se han desarrollado sistemas subnacionales de eva- luacin. Panam no ha participado en este tipo de pruebas. Vale destacar la movilizacin civil organizada a favor de la institucin de un sistema idneo y eficiente de eva- luacin (Mesas de Dilogo Intersectorial y Dilogo para Tipos de reporte Uso y difusin de resultados Sistemas subnacionales de evaluacin Pruebas internacionales de aprendizaje Avances observados 124 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN la Transformacin Integral del Sistema educativo Na- cional, 2002). La dificultad ms compleja radica en la escasa voluntad poltica por apoyar, institucional y econmicamente, el desarrollo de un sistema idneo de evaluacin. Las de- pendencias tcnicas del Ministerio vinculadas a la eva- luacin han funcionado hasta el momento en forma ais- lada, se observa discontinuidad en los emprendimientos, as como un fuerte vaciamiento de recursos tcnico-pro- fesionales. Segn las ltimas fuentes de informacin consultadas, se est intentando revertir esta situacin para lograr mayores niveles de comunicacin y trabajo colaborativo entre los diferentes equipos profesionales del Ministerio. Algunas organizaciones civiles, as como la Comisin de Educacin de la Legislatura Nacional, han realizado pronunciamientos y propuestas importantes en torno a la evaluacin educativa nacional y a la participacin en pruebas internacionales de aprendizaje. Se espera que, adems de la creacin de la nueva Direccin Nacional de Evaluacin en el Ministerio de Educacin, el gobier- no ofrezca el apoyo institucional y destine los recursos necesarios para un adecuado funcionamiento. El nuevo Sistema Nacional de Evaluacin Educativa comprende- r un Sistema Nacional de Pruebas de Logros y un Sis- tema de Evaluacin del los Aprendizajes y Rgimen de Calificacin y Promocin para los dos primeros niveles de enseanza. Dificultades observadas Proyeccin a futuro 125 SEGUNDA PARTE [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] PARAGUAY PARAGUAY (SNEPE: Sistema Nacional de Evaluacin del Proceso Educativo) 1996 1997 1998 1999 2000 2001 2001 2001 6 3, 9 6, 12 3,9 6, 12 3, 6 3, 6 3 er ao Formacin Docente L, M L, M L, M, CN L, M, CS L, M, CS L, M MN MN MN MN MN MN CN (en 1150 escuelas del Proyecto Escuela Viva) CN G, U, P G, U, P G, U, P G, U, P G, U, P G, U, P OREALC 1997 126 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN El SNEPE es un programa administrado desde el Depar- tamento de Orientacin y Evaluacin Educativa del Mi- nisterio de Educacin, y es financiado principalmente a travs del Programa de Mejoramiento de la Calidad de la Educacin Primaria en convenio con el Banco Intera- mericano de Desarrollo. Las tablas de especificaciones y las pruebas son valida- das con la participacin de los equipos ministeriales de desarrollo curricular y estn referidas al currculo nacio- nal vigente. No existen actualmente propuestas de estn- dares, debido en parte a la percepcin de que el estable- cimiento de metas demasiado altas generara altos grados de frustracin en la mayora de las escuelas. En las aplicaciones muestrales al nivel nacional se utili- zan pruebas referidas a normas, mientras que las prue- bas aplicadas censalmente en el grupo de escuelas parti- cipantes en el programa Escuela Viva (1.500 centros educativos) estn referidas a criterios. Los instrumentos incluyen temes de respuestas de opcin mltiple y de redaccin de texto en el rea de lenguaje. Las pruebas se acompaan con cuestionarios a alumnos para recabar in- formacin sobre sus actitudes hacia las asignaturas eva- luadas. Los datos se reportan en forma agregada a nivel nacio- nal, y desagregada por departamento, por sector (pbli- co o privado), mbito geogrfico (rural o urbano), ta- mao de escuela, sexo y por turno de escolaridad (maana, tarde o noche). Los valores se expresan en medias aritmticas y porcentajes promedios de res- puestas correctas, ambos desagregados por competen- cias evaluadas dentro de cada rea curricular. Los in- formes devueltos a las escuelas participantes de la muestra permiten realizar comparaciones con escuelas [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. Marco institucional Currculo y estndares Tipos de pruebas Tipos de reporte 127 SEGUNDA PARTE de sectores y zonas similares, y con el conjunto de escuelas al nivel nacional. Los resultados se entregan a autoridades superiores del sector y a las escuelas (directores y profesores) median- te dos tipos diferentes de informes: uno para las escue- las participantes de la muestra y otro para todas las es- cuelas del pas. Los resultados se entregan durante talleres regionales donde participa la comunidad educa- tiva. Tambin se han difundido los resultados a travs de medios de prensa, publicaciones y talleres en diferentes departamentos geogrficos para un total de 405 centros educativos. Los resultados de las pruebas censales den- tro del programa Escuela Viva se consideran como uno de los indicadores principales de impacto programtico. Para tal fin se aplicarn pruebas comparables anualmen- te, de manera tal de estimar el impacto del programa en la calidad y eficiencia de las escuelas al cabo de cinco aos. Las pruebas no tienen altas implicancias para los alumnos de educacin primaria, pero se planea introdu- cir mecanismos de acreditacin para el egreso de educa- cin secundaria mediante pruebas estandarizadas en el mediano plazo. Este plan, sin embargo, solo ser posible una vez culminado el proceso de implantacin gradual de la nueva estructura curricular para ese nivel. Actual- mente, los mayores esfuerzos estn puestos en la devo- lucin de los resultados a todas las escuelas, como seal de responsabilidad y transparencia del sistema ante la comunidad educativa. Los resultados no han sido utili- zados aun para el diseo de polticas y programas de mejoramiento educativo especficos, aunque esto consti- tuye uno de los principales objetivos del sistema a largo plazo. No se han desarrollado sistemas subnacionales de eva- luacin. Paraguay particip en la prueba internacional compara- da del LLECE- 1997. Destaca la continuidad de las autoridades polticas del sector en sus funciones, lo cual repercute positivamente en la estabilidad de los equipos tcnicos de evaluacin. Uso y difusin de resultados Sistemas subnacionales de evaluacin Pruebas internacionales de aprendizaje Avances observados 128 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN Asimismo, se percibe voluntad poltica para hacer p- blicos los resultados de las evaluaciones y as transpa- rentar las acciones de gobierno y sus efectos en mate- ria de poltica educativa. Se reportan tambin mayores grados de comunicacin, respecto de estas mismas prc- ticas en el pasado, entre diferentes rganos de gestin sectorial, lo cual podra favorecer el uso de los datos de las evaluaciones para un diseo ms informado de las polticas educativas. Existen sectores docentes que piensan que los conteni- dos o competencias evaluadas no coinciden con lo que ellos realmente ensean o con lo que sus estudiantes realmente estn en condiciones de aprender. Falta un mayor anlisis sobre qu aumenta y qu restringe el aprendizaje, de manera que trascienda el sentido comn o las especulaciones. Los informes de resultados se li- mitan a numerosos grficos con comentarios breves. Lo mismo sucede con las variables complementarias o factores contextualizadores, no se plantea cul podra ser la relacin entre los resultados y los logros, desapro- vechndose la oportunidad de levantar preguntas adicio- nales donde se podra mirar otros datos y hacer anlisis ms detallados. Las autoridades no parecen estar explo- rando los procesos de formulacin de estndares nacio- nales. Las actuales definiciones del contenido del domi- nio evaluado son tan vagas que difcilmente dan pautas a docentes sobre qu o cmo se tiene que mejorar. El SNEPE planea reforzar la difusin de los resultados al interior del Ministerio de Educacin para lograr ma- yor impacto en la toma de decisiones sobre programas de mejoramiento y de capacitacin y formacin docente. Dificultades observadas Proyeccin a futuro 129 SEGUNDA PARTE [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera, C=Ciudadana. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. La evaluacin externa de aprendizajes se realiza desde la UMC, Unidad de Medicin de Calidad, rgano depen- diente del Ministerio de Educacin, aunque una propor- cin importante del diseo y aplicacin de las pruebas Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] PER PER (UMC- CRECER) 1996 1998 2001 2004 4 4, 6 4M, 5M] 4, 6, 4M 2, 6, 3M, 5M L, M L, M, CS, CN L, M L, M L, M, C MN MN MN MN G, U, P G, U, P G, U, P OREALC 1997; PISA Plus Marco institucional 130 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN se realiza con la participacin y asesoramiento de con- sultores externos al Ministerio. Los marcos curriculares nacionales vigentes fueron aprobados en los aos 1997 y 1998 para educacin pri- maria, y en 2001 para secundaria (este ltimo actual- mente en revisin). La reforma curricular de los noventa marc la transicin hacia un currculo basado en compe- tencias, y sobre ellas se construyen las matrices de refe- rencia para las evaluaciones estandarizadas. El diseo de esas matrices, sin embargo, requiri de un trabajo adicional de especificacin y operacionalizacin de con- tenidos, pues algunas reas del currculo presentan defi- niciones demasiado amplias sobre los aprendizajes espe- rados. Hasta el momento no se han realizado propuestas de estndares de currculo al nivel nacional, aunque al- gunas organizaciones no gubernamentales han ensayado propuestas exitosas con algunos grupos de escuelas se- leccionadas. Las primeras aplicaciones se realizaron con pruebas re- feridas a normas, pero actualmente se aplican instru- mentos con referencia a criterios. Las pruebas son mues- t ral es, i ncl uyen t emes de opci n ml t i pl e y de respuestas abiertas, y han sido aplicadas en espaol, quechua y aimara. Junto con las pruebas se aplican cues- tionarios de contexto para el estudio posterior de facto- res asociados al rendimiento. Se estudian variables esco- lares (Ej. insumos pedaggicos, caractersticas de escuelas y profesores, actitudes hacia las asignaturas y hacia las lenguas originarias, tareas en el hogar), y ex- traescolares (principalmente gnero, NES, lengua mater- na, localizacin urbana o rural, administracin pblica o privada, y regin geogrfica). Los informes generales ms recientes presentan los re- sultados en forma criterial, expresando en forma de por- centaje las probabilidades de que diferentes grupos po- blacionales (Ej. escuelas rurales, escuelas pblicas urbanas o quechuahablantes) logren diferentes niveles de desempeo en las reas evaluadas y sus diferentes componentes o ejes temticos. Tambin se presentan grficos comparativos sobre los niveles de rendimiento Currculo y estndares Tipos de pruebas Tipos de reporte 131 SEGUNDA PARTE de cada uno de los estratos definidos para la muestra. Los variables escolares y extraescolares analizadas se presentan asociadas al rendimiento global por rea curri- cular y tambin a las diferentes subreas de conocimien- to evaluadas (Ej. geometra, estadstica, comprensin in- ferencial de textos, etc.). La difusin y el uso de los resultados de evaluacin exter- na han sido, y aun son, aspectos particularmente dbiles de la evaluacin externa. La devolucin de los resultados de las pruebas nacionales e internacionales se vio fuertemente restringida durante la gestin presidencial de los aos no- venta. Los datos recogidos en las aplicaciones de 1996 y 1998, as como los resultados de la prueba internacional de UNESCO fueron divulgados recin a partir del ao 2000. Actualmente, la UMC lleva publicada una serie de 20 bole- tines de difusin de resultados de aprendizaje (sobre los resultados de las pruebas de 1998), de anlisis de factores asociados al rendimiento, de anlisis de temes y errores de respuesta de las pruebas nacionales para fines pedaggicos, y de los resultados de la prueba internacional de UNESCO. Tambin se han realizado talleres para la presentacin y discusin de resultados con docentes y especialistas de r- ganos intermedios de gestin. Adicionalmente, investiga- dores independientes han realizado estudios del currculo implementado y de oportunidades de aprendizaje mediante el anlisis de cuadernos de trabajo y de cuadernos de clase en muestras de alumnos de escuelas urbanas polidocentes. Otros estudios se han centrado en los factores asociados al rendimiento y en el anlisis de la produccin de textos de los estudiantes. La dificultad principal en este terreno radi- ca, hasta el momento, en lograr una divulgacin efectiva de los informes oficiales, y en lograr que sus contenidos tengan impacto en la responsabilizacin poltica por los resultados, en el uso de los datos para el mejoramiento pedaggico y para la toma de decisiones de poltica edu- cativa. No se han desarrollado sistemas subnacionales de eva- luacin. Per particip en la prueba internacional comparada del LLECE (1997) y Pisa Plus (2001). Uso y difusin de resultados Sistemas subnacionales de evaluacin Pruebas internacionales de aprendizaje 132 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN Destaca la continuidad de los operativos, a pesar de la inestabilidad de los equipos tcnicos frente a los cam- bios frecuentes de administracin sectorial. Resulta po- sitiva tambin la publicacin de los resultados luego de cada aplicacin, as como los esfuerzos recientes por redactar informes ms tiles para el mejoramiento de la gestin pedaggica en las escuelas. Los funcionarios del sector no hacen uso sistemtico de los datos para mejorar las condiciones de implementa- cin en las reas ms crticas del currculo y en las es- cuelas ms desfavorecidas. Tambin se percibe un uso insuficiente de los datos en el mbito escolar, en parte debido al hecho de que la devolucin de resultados no ha logrado universalizarse a todos los centros educati- vos. Parte del problema radica en que los equipos tcni- cos de evaluacin no disponen del tiempo suficiente para disear estrategias ms amplias de difusin. Una nueva Ley General de Educacin, promulgada en 2003, ordena la creacin del Instituto Peruano de Eva- luacin, Acreditacin y Certificacin Educativa. Este ser un organismo pblico autnomo que probablemente incorporar la tecnologa y los equipos tcnicos que ac- tualmente se desempean en la UMC en el Ministerio de Educacin. Avances observados Dificultades observadas Proyeccin a futuro 133 SEGUNDA PARTE Actualmente, la unidad de medicin de rendimiento acadmico es el Departamento de Pruebas Nacionales, rgano dependiente de la Direccin de Evaluacin y Control de la Secretara de Estado de Educacin. Ori- ginalmente, el proyecto de Pruebas Nacionales fue ad- ministrado y liderado por una Comisin Ejecutiva inte- grada por el Secretario de Estado de Educacin y [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] REPBLICA DOMINICANA REPBLICA DOMINICA- NA (Sistema de Pruebas Nacionales) 1991-1996 1997-2003 8, 4M, 3 er ciclo de adultos 8, 3 Ed. Adultos y Bachillerato L, M, CS, CN L, M, CS, CN CN CN U G CD, DC OREALC 1997 Marco institucional 134 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN Cultura, los rectores de las principales universidades na- cionales y el Secretario General de la Asociacin Domi- nicana de Profesores. Entonces, el proyecto era financia- do principalmente con fondos de prstamo internacional (BID y Banco Mundial). En la actualidad, la mayor par- te de los programas de evaluacin se financian con el presupuesto regular de la Secretara. Las Pruebas Nacionales se construyen en funcin de los contenidos del currculo nacional, y los equipos de desa- rrollo curricular de la Secretara participan en la defini- cin de la matriz de referencia para las evaluaciones y en la validacin de los temes. Sin embargo, suelen exis- tir diferencias de percepcin sobre la relevancia o perti- nencia del universo de saberes curriculares que sern objeto de evaluacin. Tales diferencias se explican por el grado insuficiente de especificacin que el currculo plantea respecto a las expectativas de aprendizaje y des- empeo para las diferentes reas de conocimiento. Exis- te la percepcin de que es necesario acordar un conjunto de estndares curriculares al nivel nacional, y en esa direccin trabaja actualmente la Direccin General de Currculo, especficamente en las reas de lengua espa- ola y matemticas. Desde 1998 se aplican pruebas referidas a normas en 4 ao del Bachillerato, y pruebas referidas a criterios en 8 grado y 3 er ciclo de adultos. Para el Bachillerato, existen pruebas comprensivas (comunes a todas las modalida- des) y diferidas (diferenciadas para cada tipo de orienta- cin acadmica). Ambas versiones estn contenidas en el mismo cuadernillo de pruebas. Las pruebas para el rea de Lengua Espaola se elaboran a partir de compe- tencias, mientras que las de Matemtica, Ciencias Socia- les y Ciencias Naturales se realizan a partir de conteni- dos u objetivos. Todas las pruebas se basan en un modelo de respuesta de opcin mltiple. No se aplican instrumentos especiales para el levantamiento de infor- macin de contexto, pero igualmente se dispone de in- formacin relacionada con las caractersticas de los es- tudiantes (sexo, edad y calificaciones promedios obtenidas en la escuela en las asignaturas de pruebas nacionales), y con las caractersticas geogrficas de las Currculo y estndares Tipos de pruebas 135 SEGUNDA PARTE escuelas (zona urbana, urbana marginal, urbana tursti- ca, rural, rural aislada y zona de pobreza). Con estos datos se realizan estadsticas descriptivas y correlacio- nes entre las variables mencionadas y el logro acadmi- co de los estudiantes. La tabla de especificaciones utilizada permite reportar los resultados en funcin de competencias logradas. Los informes institucionales (escolares) presentan los por- centajes de alumnos que lograron cada una de las com- petencias y los informes individuales (por alumno) indi- can el ni vel de desempeo l ogrado para cada competencia. Ms especficamente, esos informes pre- sentan los siguientes datos: Informe institucional (datos desagregados al nivel de curso o seccin y por rea de conocimiento): porcentajes de estudiantes promovidos y aplazados; grado de correlacin entre calificacin esco- lar final y calificacin en prueba estandarizada; compa- racin de resultados con centros educativos semejantes, y con todos los centros educativos en los mbitos nacio- nal, regional y distrital. Informe para alumnos: puntaje obtenido por dominios en cada rea de conocimiento; anlisis narrativo de logros y dificultades principales, por nivel de desempeo y en forma comparada con el promedio nacional y con el promedio de las escuelas del mismo nivel socioeconmico o zona geogrfica; reco- mendaciones para mejorar el rendimiento acadmico. Los niveles de desempeo fueron establecidos de acuer- do a cuatro categoras (cuartiles) atendiendo a los por- centajes de estudiantes que dominan o no las preguntas para cada una de las competencias o contenidos evalua- dos. Para los fines de la discusin de estos resultados, se utilizan dos categoras de desempeo: dominio bajo y dominio. El criterio para alcanzar tal calificacin por los grupos de estudiantes, es la respuesta correcta a 50% de las preguntas relativas a las competencias o conteni- dos (dominio bajo), o la respuesta correcta a 50% o ms de las preguntas (dominio). Esta informacin se presenta en tablas cruzadas, por categoras de dominio y nivel de agregacin geogrfica (nacional, regional y distrital). Los resmenes ejecutivos preparados por el Departa- mento de Pruebas Nacionales tambin ofrecen un anli- sis comentado de los resultados, as como un conjunto Tipos de reporte 136 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN de conclusiones y reflexiones puntuales sobre las im- plicancias de poltica de los resultados. Las Pruebas Nacionales se utilizan, en primer lugar, como indicador parcial de rendimiento acadmico para determinar la promocin y graduacin de alumnos en los niveles y cursos evaluados. La respuesta correcta a todos los temes de la prueba equivale al 30% de apro- bacin del curso, mientras que el puntaje mximo en el ltimo ao del curso, combinado con el promedio en los ltimos cuatro aos de educacin media, equivalen al 70% restante. En el caso de 8 grado del Nivel Bsi- co y la Educacin de Adultos la lnea de corte para la aprobacin del curso es de 65/100 puntos, mientras que en el caso de 4 ao de Educacin Media es de 70/100 puntos. Los alumnos que no alcanzan el puntaje mni- mo de aprobacin en alguna asignatura tienen la posi- bilidad de volver a presentarse al examen. Los estu- diantes de 8 grado y de Educacin de Adultos que no alcanzan el puntaje mnimo en las cuatro asignaturas deben repetir el curso. Las calificaciones finales se ha- cen llegar a los estudiantes por la va documental (ac- tas escolares de calificaciones), telefnica, o electrni- ca a travs de una pgina web oficial. Los equipos de evaluacin han convocado a otras unidades del sector (Direccin de Curriculum, institutos de capacitacin docente, directores de escuelas, maestros y estudiantes, autoridades intermedias, etc.) para realizar lecturas cr- ticas de los resultados y discutir sus implicancias para la redefinicin de programas y lneas de accin para el mejoramiento de la calidad de los aprendizajes. Asi- mismo, se entregan resmenes ejecutivos sobre los re- sultados a autoridades polticas y equipos tcnicos cen- trales y locales. Sin embargo, se considera que los resultados han tenido poco impacto en la toma de deci- siones de poltica educativa en general. La prensa local publica y comenta los resultados anualmente, aunque es difcil lograr que se haga un tratamiento sustantivo del tema ms all de la presentacin de los promedios generales al nivel nacional. No se han desarrollado sistemas subnacionales de eva- luacin. Uso y difusin de resultados Sistemas subnacionales de evaluacin 137 SEGUNDA PARTE Repblica Dominicana particip en el estudio compara- do del LLECE, 1997. La devolucin de los resultados, tanto a las escuelas como a los estudiantes individualmente, se realiza de una forma que resulta til curricularmente para mejorar los resultados de los aprendizajes. Los operativos de evaluacin estn debidamente normados por la Ley Ge- neral de Educacin y por un conjunto de Ordenanzas nacionales, lo cual garantiza continuidad en las aplica- ciones y otorga mayor legitimidad formal a los procesos evaluativos. Existen problemas de organizacin al interior de la Se- cretara de Estado de Educacin que impiden un flujo adecuado de informacin y el trabajo sinrgico entre las diferentes unidades de gestin. Suelen superponerse los esfuerzos de evaluacin a cargo de diferentes dependen- cias y los resultados de las pruebas nacionales no impac- tan mayormente en la toma de decisiones para el diseo de polticas integrales o complementarias de mejora- miento de la calidad. Se prev que el programa de Pruebas Nacionales seguir operando como hasta el momento. Desde el punto de vista institucional, el Consejo Nacional de Educacin reglament recientemente que Sistema Nacional de Eva- luacin de la Calidad de la Educacin comenzar a fun- cionar como un organismo descentralizado, pero aun no se han elaborado los lineamientos y las normativas espe- cficas para concretar este cambio de status. Pruebas internacionales de aprendizaje Avances observados Dificultades observadas Proyeccin a futuro 138 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] URUGUAY URUGUAY (UMRE) 1996 1998 1999 1999 2001 2001 2002 6 3 6 3M 4 preescolar, 1, 2 6 L, M, AA L, M, CN, CS L, M, AA L, M, CN, CS L, M, desarrollo cognitivo y afectivo L, M CN MN, autoaplica- cin universo escuelas MN, ME, autoaplica- cin universo escuelas CN MN MN, CN G, U, P U, P G, U, P G, U, P G, U CD, FA CD CD FA CD PISA 2003 139 SEGUNDA PARTE [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. La UMRE, Unidad de Medicin de Resultados Educati- vos, fue creada en 1994 dentro del marco de un conve- nio de cooperacin financiera entre la ANEP (Adminis- tracin Nacional de la Educacin Pblica) y el Banco Mundial para el desarrollo del Proyecto de Mejoramien- to de la Calidad de la Educacin Primaria (MECAEP). En tal sentido, la UMRE no fue concebida como un sis- tema nacional de evaluacin en s mismo, sino como un proyecto de evaluacin nacional de aprendizajes que sentara las bases para el desarrollo posterior de un sis- tema de evaluacin ms integral y administrado desde la estructura funcional de la ANEP. Las acciones de eva- luacin llevadas a cabo por la UMRE se han realizado en colaboracin con otras unidades administrativas de la ANEP, y si bien depende polticamente de la administra- cin educativa central, goza de altos grados de autono- ma tcnica y administrativa. Desde 2001 la UMRE se institucionaliz en el marco de la entonces creada Ge- rencia de Investigacin y Evaluacin en la ANEP, con el nombre Programa de Evaluacin de Aprendizajes. Tiene a su cargo las evaluaciones en educacin primaria y media, las evaluaciones internacionales y la elabora- cin de las pruebas de ingreso a los institutos de forma- cin docente. La unidad sigue gozando de autonoma tcnica pero no administrativa. El currculo oficial nacional vigente en Uruguay data del ao 1957 pero ha sufrido revisiones y actualizacio- nes en las ltimas dcadas. En los aos setenta fue re- formado segn las corrientes conductistas de la poca y los contenidos se presentaban con un alto grado de pres- cripcin y detalle para su cobertura. En los aos ochen- Marco institucional Currculo y estndares 140 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN ta, a partir de la restitucin del orden democrtico, se percibe la necesidad de remover del currculo los cam- bios introducidos durante el gobierno militar y se elabo- ra una versin levemente modificada del documento de 1957. Esta versin propone un currculo ms flexible que permite adecuaciones locales e institucionales pero, si bien se modificaron los postulados filosficos y epis- temolgicos para la enseanza, los contenidos discipli- nares siguen siendo los mismos. La sucesin de cambios ha producido un referente curricular ambiguo que pre- senta contradicciones entre su fundamentacin terica y el tipo de contenidos acadmicos prescritos. Esa ambi- gedad ha constituido una dificultad importante para los equipos de evaluacin de la UMRE al momento de defi- nir las tablas de especificaciones, pero se ha resuelto satisfactoriamente mediante la consulta sistemtica a docentes y expertos de todo el pas sobre la relevancia y adecuacin de los tpicos y tipos de competencias que ameritan ser evaluados. Ms aun, el diseo de las matri- ces de referencia y el modelo de evaluacin utilizado tienen como uno de los objetivos centrales contribuir a una definicin ms pertinente y actualizada de las metas curriculares nacionales. En la prctica, los marcos con- ceptuales de las pruebas y los libros de textos gratuitos que se entregan a todas las escuelas con sus guas didc- ticas han ido constituyndose en un referente alternativo al currculo nacional. Se han realizado operativos censales y muestrales. Las pruebas incluyen temes de opcin mltiple y tambin preguntas para el desarrollo de respuesta abierta. Junto a las pruebas se aplican cuestionarios de contexto socio- educativo a docentes, directores, alumnos y familias para el estudio de factores asociados al rendimiento. Se analizan variables escolares (Ej. infraestructura y equi- pamiento, dotacin de recursos humanos, experiencia docente, gestin, concepciones pedaggicas), as como variables extraescolares (Ej. condiciones de la vivienda, composicin de la familia, bienes materiales y cultura- les, niveles educativos y ocupacionales de los padres). Se presentan los resultados clasificados segn los por- centajes de alumnos que alcanzan los diferentes niveles Tipos de pruebas Tipos de reporte 141 SEGUNDA PARTE de suficiencia predefinidos (altamente satisfactorio, sa- tisfactorio, insatisfactorio, muy insatisfactorio), y se relacionan en tablas que comparan el rendimiento por departamento, segn subsistemas (Montevideo, interior del pas, colegios pblicos y privados, colegios urba- nos y rurales) y el contexto sociocultural de las escue- las. La UMRE ha puesto especial nfasis en la compa- racin de resultados entre escuelas de contextos socioeconmicos similares como una manera de evitar inferencias inadecuadas sobre la calidad educativa de escuelas que trabajan con alumnados de diferentes con- textos socioculturales. (Por tanto, los informes que se distribuyen a las escuelas presentan sus resultados en comparacin con escuelas del mismo contexto socio- cultural del departamento, y del mismo contexto socio- cultural del pas. Los informes globales se difunden pblicamente y presentan los resultados en forma agre- gada al nivel nacional, y en forma desagregada al nivel de departamentos y escuelas. La informacin desagre- gada para cada escuela es confidencial y no pretende establecer rankings entre ellas. Cada escuela recibe en sobre cerrado sus propios resultados, y los del conjunto de otras escuelas semejantes (Ej. todas las escuelas de contexto desfavorable). Los nicos agentes extraesco- lares que acceden a los resultados por escuela son los inspectores de zona, quienes podran potencialmente difundir informacin comparada, pero mantienen el compromiso de confidencialidad y solo usan los datos para realizar recomendaciones pedaggicas. La presen- tacin de datos sobre niveles de suficiencia en el des- empeo acadmico se basa en una lnea de corte (nivel satisfactorio) equivalente a la respuesta correcta por alumno al 60% del total de los temes y en el porcenta- je de alumnos que alcanza ese nivel de rendimiento. Los informes de 6 grado presentan tambin compara- ciones interanuales (en lapsos de tres aos) sobre el progreso de la poblacin estudiantil en el logro de las competencias evaluadas. Tales datos se expresan en forma de puntos porcentuales de diferencia entre los aos 1 y 3 de aplicacin, en forma general para toda la poblacin y todas las reas evaluadas y desagrega- da solamente segn el nivel socioeconmico de las escuelas. 142 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN Los destinatarios principales de los resultados de las evaluaciones son las escuelas. La devolucin es univer- sal, independientemente de la participacin en la mues- tra, y es frecuentemente acompaada por presentaciones y talleres a cargo de los equipos tcnicos de la UMRE. Tanto las presentaciones como los materiales de orienta- cin publicados centran la atencin en el anlisis de los temes y las respuestas de los estudiantes, de manera de estimular la reflexin sobre los aspectos curriculares y pedaggicos que deben mejorarse para lograr mejores resultados. La experiencia hasta ahora indica que estas actividades son altamente valoradas por los docentes, lo cual se manifiesta en forma de solicitudes a la UMRE de ms herramientas de evaluacin y anlisis para mejorar su prctica pedaggica. Adems de los datos, la UMRE facilita tambin un conjunto importante de temes utili- zados en las aplicaciones y orientaciones para su aplica- cin en forma autnoma por los docentes en sus cursos. Los docentes, entonces, disponen de los instrumentos de evaluacin que les permite una aplicacin independien- te, y las informaciones necesarias para poder comparar los datos obtenidos con los de la aplicacin nacional. Esta estrategia es particularmente til cuando los opera- tivos son muestrales y por lo tanto no todas las escuelas cuentan con una devolucin individual de resultados. La responsabilizacin o rendicin de cuentas no es un objetivo del sistema de evaluacin. Por el contrario, los esfuerzos por legitimar el sistema ante la comunidad do- cente se centr en la confidencialidad y en el uso estric- tamente pedaggico y curricular de los datos. En trmi- nos de responsabilizacin poltica sectorial, los datos no han generado debate pblico o acadmico, ni reacciones por parte de la sociedad civil, excepto por algunos gru- pos que demandan su utilizacin para impulsar mecanis- mos de responsabilizacin y descentralizacin. Los da- tos han sido utilizados para el desarrollo de programas de capacitacin de docentes en servicio, coordinados frecuentemente en colaboracin con los cuerpos de Inspectores de Primaria y con el Proyecto MECAEP de capacitacin docente, aunque an no se ha logrado inci- dir sobre los programas de formacin magisterial inicial. Los resultados fueron utilizados recientemente para fun- damentar la continuacin y ampliacin de un programa Uso y difusin de resultados 143 SEGUNDA PARTE de equidad para Escuelas de Tiempo Completo. Por el tipo de modelo de evaluacin que se realiza en este pas, los datos sirvieron para demostrar que este tipo de es- cuelas logran mejores resultados que otras en contextos socioeconmicos semejantes. No se han desarrollado sistemas subnacionales de eva- luacin. Uruguay participa en el proyecto PISA y realiz la pri- mera aplicacin de instrumentos en 2003. El sistema de evaluacin ha logrado niveles importantes de legitimacin entre los docentes, quienes valoran los datos recogidos como insumos de informacin vlidos y tiles para el mejoramiento de las prcticas pedaggicas y de la gestin escolar. Destaca tambin la continuidad de los operativos en el tiempo, as como la estabilidad de los equipos tcnicos en sus funciones. Vale remarcar los esfuerzos por construir matrices de referencia e te- mes de evaluacin que, si bien alineados con el currcu- lo nacional, trascienden la prescripcin oficial e intro- ducen nuevas metas que generan debate sobre la pertinencia y validez de los contenidos de aprendizaje en las escuelas. Los datos e informaciones difundidos por la UMRE han tenido escaso impacto en la opinin pblica. Si las prximas administraciones de gobierno continan apoyando el sistema nacional de evaluacin, se espera adoptar la metodologa de medicin TRI, incorporar te- mes abiertos a las pruebas de 6 de primaria, mantener el ritmo trienal de aplicaciones, utilizar la prueba inter- nacional PISA como referente para la evaluacin y mo- nitoreo del 3 de educacin media y evaluar el final del Bachillerato. Sistemas subnacionales de evaluacin Pruebas internacionales de aprendizaje Avances observados Dificultades observadas Proyeccin a futuro 144 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. El SINEA, Sistema Nacional de Medicin y Evaluacin del Aprendizaje, es un programa dependiente del Vice- ministerio de Asuntos Educativos del Ministerio de Edu- cacin, aunque no est incluido formalmente en el orga- nigrama oficial del sector. Al momento de la aplicacin muestral de 1998, el SINEA era administrado por la Ofi- Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] VENEZUELA VENEZUE- LA (SINEA- Sistema Nacional de Medicin y Evaluacin del Aprendizaje) V 6 L, M MN G, U, P OREALC 1997 Marco institucional 145 SEGUNDA PARTE cina Sectorial de Planificacin y Presupuesto. Original- mente se financi con fondos de prstamo del Banco Mundial pero actualmente se sostiene con el presupuesto ordinario del Ministerio de Educacin en convenio con el CENAMEC, Centro Nacional para el Mejoramiento de la Enseanza en Ciencia. La aplicacin de 1998 se realiz con el apoyo tcnico de consultores de la Uni- versidad Catlica de Venezuela, pero actualmente se cuenta con escasos recursos tcnicos y humanos para el desarrollo de nuevos operativos. Las matrices de referencia para el diseo de las pruebas fueron elaboradas sobre la base del currculo nacional vigente para educacin primaria. Hasta el momento no existen propuestas para el desarrollo de estndares na- cionales de currculo. La evaluacin de 1998 fue muestral y las pruebas se basaron en un modelo de respuestas de opcin mltiple. Se intent evaluar tambin mediante preguntas abiertas pero los equipos de correctores no lograron acordar cri- terios uniformes para la correccin de respuestas. Las pruebas se construyen y validan siguiendo un modelo normativo, pero los resultados se reportan en forma cri- terial, utilizando una lnea de corte equivalente al 70% de respuestas correctas. Los resultados de 1998 se reportaron utilizando puntajes de corte sobre una escala gradual de desempeos. La es- cala defina un nivel de insuficiencia o no logro (0 a 40 puntos), logro parcial (40 a 70 puntos), y de suficiencia o logro (70 a 100 puntos). Este reporte criterial se present desagregado al nivel de entidades federales. Tambin se reportaron los datos siguiendo un modelo normativo que expresaba el rendimiento relativo de diferentes regiones geogrficas sobre la media aritmtica. El documento con- sultado explica que en la muestra se definieron estratos para escuelas pblicas y privadas, urbanas y rurales, y marginales y no marginales, aunque no se reportan resul- tados desagregados segn ese diseo. En informes dirigi- dos a docentes se presentan los temes aplicados en la evaluacin, as como un anlisis somero de las dificulta- des presentadas por los estudiantes. Finalmente, se pre- Currculo y estndares Tipos de pruebas Tipos de reporte 146 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN senta un conjunto de conclusiones sobre los resultados y sus implicancias pedaggicas generales. Para la difusin de las pruebas de 1998 se produjeron informes diferenciados para el gobierno central, para cada uno de los estados y para los docentes. Estos lti- mos se enviaron a las direcciones de educacin de cada estado, pero se desconoce qu alcance e impacto efecti- vo tuvieron al nivel de las escuelas. El Ministerio de Educacin no utiliz los resultados para el diseo de polticas, ni tampoco lo hicieron las instancias interme- dias de gestin, aunque s fueron utilizados por el CE- NAMEC para el desarrollo de programas de capacita- cin docente. La prensa no hizo una cobertura formal de los resultados, aunque algunas notas periodsticas han citado los datos del SINEA entre otros indicadores sobre la baja calidad del sistema educativo pblico. No se han desarrollado sistemas subnacionales de eva- luacin. Venezuela particip en la prueba del LLECE -1997. Aunque ya discontinuado, el programa de evaluacin contribuy inicialmente al desarrollo de capacidades tcnicas para la evaluacin externa. Resalta principalmente el insuficiente grado de institu- cionalizacin logrado por el SINEA, cuyas actividades fueron discontinuadas al culminar el convenio financie- ro con el Banco Mundial. Actualmente se cuenta con recursos humanos y tcnicos insuficientes, y las autori- dades del Ministerio de Educacin no han destinado nuevos recursos ni tiempo de gestin para el sosteni- miento y desarrollo del programa. Uso y difusin de resultados Sistemas subnacionales de evaluacin Pruebas internacionales de aprendizaje Avances observados Dificultades observadas 147 SEGUNDA PARTE CASOS SUBNACIONALES [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] MINAS GERAIS, BRASIL MINAS GERAIS (SIMAVE) 2000 2001 2002 2003 4, 8, 3M 4, 8, 3M 4, 8, 3M 4, 8, 3M L, M CS, CN L, M L CR CR CR CR G, U, P G, U, P G, U, P G, U, P CD, FA CD, FA CD, FA CD, FA El SIMAVE, Sistema Minero de Evaluacin de la Edu- cacin Pblica, es uno de los componentes centrales del PROEB, Programa de Evaluacin del la Red Pblica de Educacin Bsica, y est inserto en la estructura funcio- Marco institucional 148 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN nal de la Secretara de Educacin del Estado de Minas Gerais. Este sistema de evaluacin fue creado dentro del marco de una fuerte redefinicin de polticas educativas a partir de la nueva administracin sectorial iniciada en el ao 1999. Las inequidades en el acceso al conoci- miento al interior del estado, as como los mltiples pro- blemas de repitencia y promocin automtica requeran de un sistema de evaluacin diagnstica de aprendizajes que permitiera focalizar apoyos y compensar esas in- equidades. La evaluacin se inserta dentro de un conjun- to de programas de Acompaamiento Pedaggico y de fortalecimiento de la capacitacin y la formacin docen- te inicial. Una de las caractersticas ms novedosas del sistema es su trabajo colaborativo formal con 29 institu- ciones de educacin superior del estado. Ese trabajo in- volucra el diseo y aplicacin de instrumentos, as como el procesamiento de datos y su devolucin a las escue- las. Los operativos son coordinados por una de estas universidades en colaboracin con las dems, en un pro- ceso que pretende contribuir a mayores grados de des- centralizacin de la gestin educativa en su conjunto, as como a mayores grados de participacin de los acto- res locales. Motiva tambin esta asociacin la necesidad de acercar mayores insumos de informacin a las insti- tuciones formadoras de docentes, y de consolidar gra- dualmente una mayor cultura evaluativa dentro del siste- ma. El SIMAVE colabora con los operativos del SAEB (ver Brasil) y se sirve del banco nacional de temes para la elaboracin de sus propios instrumentos, pero no uti- liza los datos nacionales para el diseo de polticas esta- duales. El referente curricular principal para el estado son los Parmetros Curriculares Nacionales (PCN). Sin embar- go, la Secretara de Educacin estadual posee una pro- puesta curricular propia alineada con esos parmetros. A partir de estos dos referentes, las escuelas elaboran sus propios diseos curriculares, aunque este proceso est ocurriendo muy lentamente. Para la elaboracin de las matrices de referencia del SIMAVE se utilizan los PCN, la propuesta curricular del estado, y la matriz de conte- nidos del SAEB. Se trata de priorizar los saberes ms importantes para cada grado. Sin embargo, esa prioriza- Currculo y estndares 149 SEGUNDA PARTE cin es realizada por los equipos tcnicos de evaluacin, con escasa participacin de los equipos de desarrollo curricular. Estos ltimos demandan, por tanto, mayores grados de apertura por parte del SIMAVE para lograr ms pertinencia y legitimidad en las evaluaciones y sus contenidos. Las pruebas aplicadas por el SIMAVE son censales y estrictamente normativas, pues estn diseadas bsica- mente para la comparacin de rendimiento entre diferen- tes grupos de estudiantes. A pesar de eso, como se puede observar en el apartado siguiente, se intenta reportar los resultados en forma criterial desagregando resultados por tipos de competencias logradas en cada rea curricu- lar evaluada. Se aplican tambin cuestionarios para rele- var las caractersticas socioeconmicas de las escuelas, pero no se realizan anlisis estadsticos sobre factores asociados al rendimiento acadmico. Cada escuela recibe un informe individual. Los informes presentan grficos separados para cada grado y rea cu- rricular evaluada, y cada uno de ellos muestra el porcen- taje de alumnos que se ubica en cada uno de los tres niveles de desempeo (proficiencia) predeterminados (crtico, intermedio y suficiente). Los porcentajes se desagregan al nivel de las diferentes capacidades que conforman cada una de las competencias evaluadas en cada rea curricular. Adems, se ofrece un grfico de barras comparando el desempeo promedio de la escuela respecto del municipio correspondiente, la superinten- dencia regional y el estado. Los informes se comple- mentan con una revista explicativa para orientar a los profesores en la lectura e interpretacin de los datos. Los informes de resultados apuntan a dos audiencias principales: autoridades sectoriales y equipos escolares (directores y docentes). Las primeras reciben informes sobre los rendimientos globales de diferentes regiones, superintendencias y municipios para disear polticas y focalizar apoyos materiales y pedaggicos en las regio- nes y superintendencias con bajos niveles de desempe- o. Las escuelas reciben los informes descritos en el apartado anterior. El SIMAVE se propuso lograr legiti- Tipos de pruebas Tipos de reporte Uso y difusin de resultados 150 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN macin mediante un modelo evaluativo diagnstico que no implicara sanciones ni premios para los actores loca- les, sino que sirviera principalmente para orientar y me- jorar los procesos pedaggicos y curriculares. Otro de los objetivos principales es el de acercar los datos de las evaluaciones a los estudiantes de educacin, y futuros profesores del sistema, a travs de la participacin de las universidades en todo el proceso evaluativo (los es- tudiantes son frecuentemente contratados como aplica- dores). Se espera lograr que las nuevas generaciones de docentes tengan una mayor participacin colegiada en temas substantivos de la educacin y no solamente en trminos de reivindicacin salarial. Los resultados estn disponibles para el pblico en general y para la prensa. Sin embargo, deben realizarse grandes esfuerzos para evitar que la prensa haga un uso amarillista de los datos, especialmente mediante la presentacin de ran- kings y comparaciones que pueden resultar agresivas. Los padres de familia no reciben resultados individual- mente, excepto los representantes de este grupo en los gobiernos escolares de cada institucin. Estos represen- tantes tienen acceso a los informes de resultados, y de su voluntad depende que sean socializados entre los de- ms padres. Los datos han sido utilizados para el diseo de capacitaciones docentes, con especial nfasis en los problemas de lectura detectados, y sobre lo cual se han diseado programas especficos de apoyo a las escuelas. Los datos sirven tambin para seleccionar a las escuelas que recibirn atencin prioritaria mediante esos progra- mas. Esas escuelas son tambin objeto de investigacio- nes cualitativas que buscan indagar sobre las razones que explican los bajos rendimientos. No se ha participado en forma independiente de las muestras nacionales en este tipo de pruebas. Si bien la comunicacin de los equipos de evaluacin con otras dependencias de la Secretara es escasa, los equipos de desarrollo curricular estn comenzando a uti- lizar los datos de las evaluaciones para proponer nuevas lneas de accin desde su mbito de trabajo. Hasta el momento, se han concentrado principalmente en los pro- blemas de lectura detectados. La relacin entre el Pruebas internacionales de aprendizaje Avances observados 151 SEGUNDA PARTE SIMAVE y las universidades parece ser provechosa y existe voluntad de ambas partes por continuar trabajan- do en forma asociada. Segn algunas crticas, para lograr que las pruebas ten- gan mayor impacto, debera involucrarse a los docentes ms directamente en el proceso evaluativo y especial- mente en la validacin de los contenidos evaluados por el SIMAVE. A esta falta de participacin se atribuye, en cierta medida, que los profesores no se sienten responsa- bles por los resultados y que tampoco alienten a los alumnos a mejorar su rendimiento. Dado que el sistema ha sido recientemente implementa- do, se espera lograr una mayor institucionalizacin y continuidad en los operativos. Asimismo, se espera tener mayor incidencia en los programas de capacitacin y formacin docente. Dificultades observadas Proyeccin a futuro 152 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN El Programa de Evaluacin del Sistema Educativo de Paran es parte de la estructura orgnica de la Secretara de Educacin del estado y se inscribe dentro de un pro- [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] PARAN, BRASIL PARAN (Programa de Evaluacin del Sistema Educativo de Paran) 1995 1996 1997 1998 2000 2002 4 8, 2M 4, 8 4, 8 4, 8 4, 8, 3M L, M L, M, CN, CS L, M, CN L, M, CN L, M, CN L, M, CN CR CR CR CR CR CR G, U, P G, U, P G, U, P G, U, P G, U, P G, U, P CD, DC CD, DC CD, DC CD, DC CD, DC CD, DC Marco institucional 153 SEGUNDA PARTE grama ms amplio denominado Proyecto de Calidad de la Enseanza. Ese proyecto se inici en el ao 1994 con apoyo financiero del Banco Mundial. Los requisitos de monitoreo impuestos por el Banco impulsaron el di- seo de los primeros instrumentos de evaluacin del sis- tema, entre los cuales cobr particular importancia, y continuidad, el de evaluacin de los aprendizajes. El Programa dispone de escasos mrgenes de autonoma, pues todas las decisiones tcnicas y polticas son toma- das finalmente por las autoridades mximas de la Secre- tara de Educacin. Adems de evaluar los procesos de implementacin e impacto de programas de calidad es- pecficos, tales como la Aceleracin de Aprendizajes y la dotacin de bibliotecas, material pedaggico y cursos de capacitacin docente, el estado precisaba estudiar con mayor profundidad dos de las grandes problemti- cas que se presuman fuertemente asociadas al rendi- miento acadmico: repitencia y extraedad y desercin escolar. Por esa razn es que los resultados de aprendi- zaje, como se discute ms abajo, se reportan diferencia- damente por franjas etarias al interior de cada grado evaluado. Adicionalmente, la Secretara de Educacin precisaba contar con indicadores de calidad que le per- mitieran monitorear los procesos de descentralizacin de las escuelas y dar apoyo focalizado a aquellas que ms lo necesitaran. Existe una relacin de intercambio tcni- co con el SAEB (ver Brasil), especialmente de consulta sobre matrices curriculares y metodologas de medicin, pero el estado de Paran no hace uso de los datos reco- gidos por la agencia de evaluacin nacional. Las matrices curriculares de las pruebas estn referidas al Currculo Bsico de la Escuela Pblica del estado. Estos, a su vez, estn alineados a los Parmetros Curri- culares Nacionales (PCN). Los equipos de currculo de la Secretara participaron en la elaboracin de los PCN, y tienen participacin en la elaboracin de las matrices curriculares de evaluacin del estado. Hasta mediados de la dcada anterior los docentes guiaban su prctica bsicamente por los libros de texto comerciales e igno- raban los parmetros curriculares nacionales y estadua- les. Por medio de las evaluaciones, y de las capacitacio- nes diseadas sobre la base de los resultados, la Currculo y estndares 154 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN Secretara de Educacin apunta a revertir gradualmente esa tendencia. Segn la opinin de los equipos de currculo, los contenidos de las matrices estn debida- mente validados, en trminos de alineacin con la pro- puesta curricular estadual, aunque se cuestiona el grado de exhaustividad que la matriz permite en el sondeo de las capacidades desarrolladas por los alumnos. Las pruebas aplicadas son normativas, y son diseadas mediante procedimientos derivados de la Teora Clsica y de TRI. Las aplicaciones son censales (en todas las escuelas con ms de 50 alumnos en los grados evalua- dos) y cada alumno responde 30 preguntas por rea cu- rricular evaluada. Se aplican cuestionarios a docentes y directores de centro para realizar anlisis de factores asociados al rendimiento. Los principales factores anali- zados son: gestin y administracin escolar, y nivel eco- nmico y social de alumnos y familias. Los operativos se realizan con amplia participacin de equipos docentes locales y escolares, as como de padres de familia desig- nados para monitorear los procesos de evaluacin y ac- tuar como difusores de informacin de los resultados posteriormente. Los datos que se devuelven a las escuelas consisten en frecuencias simples y medidas de tendencia central de aciertos en las respuestas, agregados al nivel estadual y desagregados al nivel de municipio, ncleo escolar, es- cuela y franjas etarias al interior de cada grupo de estu- diantes evaluado. Los informes tambin presentan los resultados en forma de porcentajes de alumnos que al- canzaron cada uno de los cinco niveles de dificultad in- cluidos en la escala de desempeo propuesta en el mo- delo. Adicionalmente, los informes explicitan cules de las 30 preguntas respondidas por los alumnos en cada rea corresponde a cada uno de esos niveles de desem- peo. Con esos datos, y siguiendo orientaciones y for- matos prescritos por la Secretara, las escuelas redactan sus informes institucionales de rendimiento estudiantil, identifican problemticas y proponen vas de accin pe- daggica posibles. Los dems informes generales produ- cidos por el Sistema de Evaluacin presentan los resul- tados en forma desagregada por municipio, y de acuerdo Tipos de pruebas Tipos de reporte 155 SEGUNDA PARTE a otros estratos definidos tales como escuelas pblicas y privadas, escuelas estaduales y municipales y horario escolar diurno y nocturno. Se presenta tambin una sn- tesis de los contenidos curriculares ms crticos (bajo desempeo) y un anlisis pedaggico de algunos de los temes de las pruebas para orientar a los docentes en su planificacin y en la resolucin de los problemas de aprendizaje detectados. El mismo tipo de anlisis se di- funde para los temes de respuesta abierta (produccin de textos), de manera de ofrecer indicadores ms claros sobre el tipo de desempeos que se espera de los alum- nos en esa rea. Adicionalmente, la Secretara de Educa- cin devuelve los resultados de las evaluaciones en forma de Boletines Escolares, que incluyen informaciones es- pecficas del rendimiento de los alumnos de cada centro educativo segn la escala de desempeo utilizada, y en forma comparada con otras escuelas del municipio y del estado en su totalidad. Adems de los datos de rendi- miento, se presentan los resultados de las encuestas que el mismo operativo de evaluacin realiza para recoger las opiniones de padres y alumnos sobre diferentes as- pectos de la vida escolar de cada institucin. Un se- gundo conjunto de informaciones complementarias en este boletn incluye datos institucionales sobre tasas de aprobacin, reprobacin y desercin, as como otros da- tos sobre el perfil de los docentes, todo lo cual puede ser comparado con las dems escuelas del municipio y del estado. El uso de los datos ms enfatizado por el Sistema es el que hacen las escuelas mediante los mecanismos descri- tos en el apartado anterior. Adicionalmente, la Secretara de Educacin utiliza los datos en todos los eventos de capacitacin que se realizan en el estado. Resulta impor- tante destacar que a todos esos eventos de capacitacin, que usualmente se realizan en puntos estratgicos para reunir a docentes de varios municipios, asisten represen- tantes de los padres de familia de cada escuela. Se apun- ta con esto a desarrollar una cultura evaluativa sobre la base de la demanda de informacin por parte de las fa- milias. El uso de los datos para la toma de medidas de poltica, si bien era uno de los objetivos principales al momento de la creacin del sistema, es relativamente Uso y difusin de resultados 156 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN dbil y se atribuye a la falta de tiempo por parte de los equipos de evaluacin para realizar anlisis ms profun- dos de los datos recogidos. Las bases de datos estn disponibles para el medio acadmico e investigadores externos, y pueden accederse mediante solicitud formal a la Secretara de Educacin. En general, la demanda por ese tipo de informacin es baja. Tambin la prensa tiene acceso a los datos, aunque resulta difcil evitar el tratamiento amarillista de ellos. La repercusin en la opinin pblica, segn las autoridades del Sistema de Evaluacin, es baja. No se ha participado en forma independiente de las muestras nacionales en este tipo de pruebas. Se observan acciones muy definidas a favor de la utili- zacin efectiva de los datos recogidos, y a favor de una apropiacin real del sistema de evaluacin por parte de los usuarios centrales y locales. Se aprecia tambin un grado relativamente alto de estabilidad de los cuadros tcnicos, lo cual se atribuye a la estabilidad de las auto- ridades polticas del sector a lo largo de las ltimas ad- ministraciones de gobierno. Tambin vale destacar el funcionamiento orgnico entre los equipos de evalua- cin, capacitacin docente y desarrollo curricular. Hasta la actualidad, la frecuencia anual de aplicaciones ha dejado poco tiempo disponible para que los equipos tcnicos realicen anlisis ms profundos de los datos sobre rendimiento escolar. Se planea espaciar las aplicaciones, quizs a una fre- cuencia bianual, para dar ms tiempo para el anlisis y la difusin de datos. Pruebas internacionales de aprendizaje Avances observados Dificultades observadas Proyeccin a futuro 157 SEGUNDA PARTE [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Natu- rales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regio- nal, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de los resultados), CG=Capacitacin para la Gestin, DC=Desarrollo Curricular, FA=Focalizacin de apoyos a estudiantes y centros educativos. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] SO PAULO, BRASIL SO PAULO SARESP 1996 1997 1998 2000 2001 3, 7 4, 8 5, 1M 5, 7, 3M 4, 8 (L, M) (L, M, CS, CN) (L, M) (L, M, CS, CN) L, M, CS, CN L, M, CN L CR CR CR CR CR G, U, P G, U, P G, U, P G, U, P G, U, P CD, FA, DC, CG CD, FA, DC, CG CD, FA, DC, CG CD, FA, DC, CG CD, FA, DC, CG 158 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN El SARESP, Sistema de Evaluacin del Rendimiento Es- colar del Estado de So Paulo, es administrado en forma conjunta por la Secretara de Educacin del estado y la Fundacin para el Desarrollo de la Educacin (FDE), un rgano dependiente de aquella Secretara pero que goza de altos grados de autonoma administrativa. La FDE recibe financiamiento de la Secretara pero tambin se sustenta mediante la venta de servicios a otras agencias. Esta autonoma financiera, aunque sea parcial, le permi- te mayor agilidad y estabilidad en sus gestiones y provi- sin de servicios evaluativos al estado. Sin embargo, to- das las decisiones sobre cobertura de las evaluaciones, as como sobre los usos de los datos recogidos, son to- madas principalmente por la Secretara de Educacin. La administracin estadual de educacin decidi la creacin de un sistema de evaluacin propio para contribuir a la resolucin de dos problemticas principales, las de equi- dad y autonoma escolar, que son los pilares de la ges- tin educativa actual. Los datos de las evaluaciones se- ran usados para la focalizacin de apoyos en las escuelas con desempeos ms crticos (equidad), y el proceso evaluativo mismo sera realizado con la partici- pacin permanente de las escuelas, en proceso de des- centralizacin, para garantizar el uso de los datos en su gestin pedaggica y administrativa (autonoma esco- lar). El sistema de evaluacin tambin se propone eva- luar longitudinalmente el impacto de las polticas edu- cativas estaduales. El SARESP colabora con las aplicaciones nacionales del SAEB (ver Brasil) pero sus instrumentos y operativos son totalmente independien- tes. El soporte tcnico para esas actividades (modelo psicomtrico, procesamientos estadsticos y elaboracin de informes) fue provisto, desde el primer momento, por la Fundacin Carlos Chagas. Esta Fundacin tambin est cooperando actualmente, mediante capacitaciones, a la transferencia de la coordinacin tcnica del SARESP a la Secretara de Educacin del estado. Los referentes curriculares principales para la elabora- cin de los instrumentos de evaluacin son los Parme- tros Curriculares Nacionales (PCN) y la propuesta curri- cular y pedaggica de la Secretara de Educacin del estado. Para la construccin de la matriz de referencia se Marco institucional Currculo y estndares 159 SEGUNDA PARTE consult ampliamente a la CENP, Coordinacin de Estu- dios y Normas Pedaggicas, una de las dependencias de mayor protagonismo en la gestin educacional de la Se- c r e t a r a . Se aplican pruebas referidas a normas diseadas sobre la base de un conjunto de habilidades definidas para cada rea curricular evaluada. El diseo tambin incluye la definicin de una escala de cinco niveles de logro por rea, y bajo los cuales se clasifica el desempeo de cada alumno, as como de las diferentes subpoblaciones y de la poblacin general en forma agregada. Las aplicacio- nes fueron originalmente muestrales, pero se decidi transitar hacia un modelo censal para estimular la res- ponsabilizacin de las escuelas por sus resultados. Las pruebas se aplican en el ltimo grado de cada ciclo es- colar de cuatro aos. Los cuestionarios aplicados a di- rectores, supervisores y docentes permiten recabar in- formacin sobre las caractersticas de la escuela, la cual es utilizada posteriormente para el anlisis de factores asociados al rendimiento. Algunos de esos factores ana- lizados son: trabajo infantil; etnicidad, edad, NES, gne- ro y trayectoria escolar de los alumnos; caractersticas del cuadro docente; clima escolar; participacin de la escuela en programas especiales. Adicionalmente, los padres delegados para la observacin de las aplicaciones completan una planilla de preguntas sobre el desarrollo y transparencia del proceso de aplicacin. Los datos son procesados por la escuela misma, de acuerdo a procedi- mientos pautados centralmente, y luego son elevados a la Secretara de Educacin. Existen mecanismos de con- trol para monitorear la veracidad y consistencia general de los datos al nivel de las escuelas. Los informes elaborados por las escuelas presentan el porcentaje de aciertos (y el nivel de desempeo corres- pondiente a ese porcentaje) para el conjunto de alumnos evaluados. La escuela eleva los resultados instituciona- les a la Secretara pero retiene los datos de rendimiento por alumno. Desde la FDE, se elaboran informes sobre el desempeo relativo y comparado de las diferentes subpoblaciones escolares, as como de los factores aso- ciados al rendimiento para la poblacin general. Los da- Tipos de pruebas Tipos de reporte 160 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN tos se presentan desagrados por edad, tipos de escuelas, etnicidad y horario escolar (diurno y nocturno), entre otros. Para los aos 1996 y 1997 se presentaron los da- tos en forma comparada (misma cohorte). La compara- bilidad fue asegurada mediante la utilizacin de temes de anclaje para ambas aplicaciones. Las pruebas aplicadas por el SARESP son de bajas y altas implicancias. El uso principal de los datos est orientado a la toma de decisiones de poltica pedaggica y curricular, en la forma de programas especiales de apoyo y dotacin de insumos a las escuelas que presen- tan bajos resultados de aprendizaje (programas de re- fuerzo y recuperacin de aprendizajes durante el ao y en vacaciones). Los resultados son de altas implicancias para docentes y alumnos. Los primeros pueden recibir una bonificacin salarial extraordinaria segn los resul- tados globales de su escuela, mientras que los segundos ven comprometida su promocin al siguiente ciclo de escolaridad de acuerdo a su desempeo en las pruebas anuales. En el primer caso, los resultados del SARESP constituyen uno entre otros indicadores de desempeo (principalmente retencin escolar). En el caso de los alumnos, un desempeo insuficiente en las pruebas del SARESP (menos de 50% de acierto) puede ser revisado por las autoridades si el rendimiento del estudiante ha sido muy bueno durante el ciclo y se presume que por alguna razn especial no pudo rendir al nivel de su po- tencial el da de la aplicacin. En ese caso, el alumno tiene una segunda oportunidad para presentarse a la prueba. Al momento de esa publicacin, el uso de las evaluaciones con fines de bonificacin y promocin es- taba siendo reconsiderado. Los resultados de las pruebas son devueltos a la sociedad civil mediante informes a la prensa, pero se desincentiva la presentacin de resulta- dos en forma de ranking. La Fundacin Carlos Chagas ha realizado anlisis independientes de los datos, con fines de investigacin, dado que las bases de datos estn disponibles para cualquier usuario externo al mbito ofi- cial. Entre las medidas de poltica educativa diseadas a partir de los datos del SARESP destaca un programa de capacitacin delegado por la Secretara de Educacin a tres universidades (UNESP, USP y UNICAMP). La ofer- Uso y difusin de resultados 161 SEGUNDA PARTE ta de las capacitaciones depende de la solicitud que rea- lizan las escuelas mismas y que justifican a partir de resultados insatisfactorios en las pruebas estaduales. Uno de los nfasis principales de las capacitaciones ha sido el de desarrollo de las habilidades de comprensin lectora. Los resultados tambin son utilizados para la evaluacin de impacto de programas especiales de la Se- cretara, especialmente del Programa de Aceleracin de Aprendizajes. Las autoridades del CENP consideran que el progreso en el aprendizaje de saberes escolares, y ob- servado a travs del SARESP, se debe al impacto de un conjunto de medidas y programas impulsados por el es- tado. No se realizan seguimientos cualitativos sobre las causas que podran explicar los resultados de las prue- bas. No se ha participado en forma independiente de las muestras nacionales en este tipo de pruebas. Destaca en este sistema la integracin orgnica que se mantiene con otras dependencias de la gestin educati- va, especialmente con los equipos de normas pedaggi- cas para el diseo de programas de apoyo y recupera- cin de aprendizajes. Resulta valioso tambin el alto grado de participacin que tiene la comunidad educativa local a lo largo de todo el proceso evaluativo. Se espera seguir consolidando el sistema de evaluacin y fortaleciendo las capacidades tcnicas en evaluacin de los equipos profesionales al interior de la Secretara de Educacin. Pruebas internacionales de aprendizaje Avances observados Proyeccin a futuro 162 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Natura- les, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera, C=Ciudadana/Valores [4] CN=Censo Nacional, CR=Censo Regional o Distrital Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a do- centes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comu- nicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de los resultados), CG=Capacitacin para la Gestin, DC=Desarrollo Curricular, FA=Focalizacin de apoyos a estudiantes y centros educativos. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] BOGOT, COLOMBIA BOGOT Subdireccin de Evaluacin y Anlisis (Pruebas de competencias bsicas) 1998 1999 1999 2000 2001 2001 2002 2003 3, 5 3, 5, 7, 9 7, 9 3, 5 3, 5, 7, 9 7, 9 3, 5 3, 5, 7, 9 L, M, CN, C CR G, U, P CD, DC, CG, FA Calendario de apli- cacin A B A A B A A B 163 SEGUNDA PARTE El sistema de evaluacin externa de aprendizajes en el Dis- trito Capital se coordina desde la Direccin de Evaluacin y Acompaamiento, rgano dependiente de la Subsecreta- ra Acadmica de la Secretara de Educacin de Bogot. Bajo esa Direccin trabajan conjuntamente la Subdireccin de Evaluacin y Anlisis, y la Subdireccin de Mejora- miento Educativo. El programa de Evaluacin de Compe- tencias Bsicas se dise y comenz a implementarse en el marco de importantes reestructuraciones de la administra- cin del sector y los resultados de las evaluaciones se con- sideran insumos de informacin clave para la toma de deci- siones tendientes al cumplimiento de los Planes Sectoriales de Gestin 1998-2001 y 2001-2004. Las escuelas del Distrito Capital orientan su trabajo en funcin de los marcos curriculares nacionales (ver Co- lombia). Sin embargo, dada la amplitud del universo de conocimientos prescritos en esos referentes, la Secretara de Educacin local opt por definir un conjunto de com- petencias bsicas que clarificaran las expectativas de aprendizaje en cuatro reas de conocimiento disciplinar. El trabajo de diseo de competencias fue realizado por especialistas acadmicos, varios de los cuales haban par- ticipado en la elaboracin de los marcos curriculares na- cionales en aos anteriores. Estas competencias, cuyos contenidos disciplinares convergen con los lineamientos e indicadores de logro curricular nacionales, constituyen la matriz de referencia para el diseo de los instrumentos de evaluacin estandarizada. Desde los puntos de vista tcni- co y poltico, las competencias bsicas propuestas pueden ser consideradas como estndares de currculo, en tanto ofrecen una descripcin operacional clara sobre los nive- les de desempeo posible para cada tem de contenido evaluado, a la vez que proporcionan una herramienta de comunicacin efectiva entre todos los actores sectoriales sobre las expectativas de aprendizaje para todos los estu- diantes del sistema. Las pruebas de rendimiento son referidas a criterios, y se aplican censalmente en todos los grados de escolaridad evaluados. Incluyen temes de opcin mltiple, as como preguntas para el desarrollo de respuestas abiertas. Las preguntas para el rea de conocimiento sobre Comprensin Marco institucional Currculo y estndares Tipos de pruebas 164 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN y Sensibilidad Ciudadana se enfocan en temas de desarro- llo moral, representaciones sociales, actitudes democrti- cas, y conocimientos sobre el Estado colombiano. En los informes que distribuye la Secretara a cada escuela, los resultados para cada asignatura se reportan desagrega- dos por competencias, por niveles de desempeo alcanza- dos para cada una de ellas, y se expresa el valor promedio logrado por los alumnos del plantel en una escala de 0 a 306. En los informes generales de difusin pblica, los porcentajes promedio de logro se presentan desagregados por asignatura, por tipo de plantel (oficial o privado), y por zonas o localidades geogrficas al interior del Distrito. Los informes ofrecen tambin ejemplos y anlisis de algunos temes evaluados, as como un conjunto de conclusiones sobre los resultados globales de cada aplicacin. Los resultados de las evaluaciones han sido utilizados con varios propsitos, principalmente para la capacitacin do- cente y de directivos de escuelas, y para la focalizacin de apoyos a planteles. Los materiales y eventos de capacita- cin se centran en el desarrollo de habilidades para el an- lisis de los datos sobre aprendizajes, as como para el dise- o de estrategias de mejoramiento pedaggico y curricular en funcin de los resultados. Se utiliza material impreso, as como videos y DVD de presentacin de resultados, entrevistas a docentes y recomendaciones especficas. Ta- les recomendaciones se presentan como rutas de mejora- miento posibles, que pueden ser utilizadas por los plante- les como modelo de diseo curricular y planeamiento pedaggico. En cuanto a la focalizacin de apoyos, desta- can los proyectos implementados por la Secretara de Edu- cacin que buscan rescatar de las instituciones con mejores resultados, ideas y herramientas de gestin pedaggica que puedan ser replicadas en otras escuelas con mayores nece- sidades de mejoramiento. Asimismo, las escuelas con bajos resultados tienen acceso a otros programas de apoyo, tales como expediciones culturales por la ciudad, o la nueva red de bibliotecas inaugurada en el ltimo quinquenio. Tam- bin se aprecia la utilizacin de las evaluaciones de apren- dizajes, junto con otros indicadores, para la toma de deci- siones sobre inversiones en infraestructura, equipamiento y reorganizacin institucional. En trminos de responsabili- Tipos de reporte Uso y difusin de resultados 165 SEGUNDA PARTE zacin poltica por los resultados de aprendizaje, el Plan Sectorial 2001-2004 explicita la meta de lograr un prome- dio mnimo de alcance de 180 puntos (en una escala de 0 a 306) y que todas las escuelas superen los 100 puntos de logro en la misma escala. Estas metas se han hecho pbli- cas y corresponder a las autoridades locales responder por los resultados al cabo del perodo mencionado. Se alienta a las escuelas a hacer pblicos ante la comunidad sus avan- ces hacia el logro de las competencias evaluadas, lo cual se materializa mediante carteleras impresas que los equipos docentes van completando conforme reciben los informes anuales de resultados. Esas carteleras se exhiben en lugares visibles de la escuela, tales como la recepcin o pasillos de trnsito para alumnos y padres. Resulta importante desta- car que las calificaciones escolares (internas) de los alum- nos, que ellos y sus familias reciben en forma de boletines peridicos, se reportan de acuerdo al mismo conjunto de competencias bsicas que evala la Secretara de Educa- cin en forma externa y estandarizada. Los resultados se utilizan tambin para monitorear, junto con el uso de otros indicadores, la calidad de las escuelas privadas que alber- gan matrcula oficial (estrategia utilizada por la Secretara para garantizar el acceso a la escolaridad mientras se cons- truyen nuevos establecimientos oficiales). Los datos son tambin utilizados como uno de los indicadores de desem- peo docente dentro del nuevo esquema de regulacin para la permanencia en el cargo. Bogot ha participado en pruebas internacionales como parte de la muestra nacional, pero no en forma indepen- diente. Entre los avances ms destacables, vale mencionar el desa- rrollo de criterios curriculares claros y operacionales para la evaluacin de aprendizajes, los esfuerzos por socializar y legitimar el sistema de evaluacin y las informaciones producidas, y la estabilidad de los equipos tcnicos y de los operativos a lo largo del ltimo quinquenio. Resalta tambin el uso efectivo que se da a los datos de las evalua- ciones para el mejoramiento de los procesos de enseanza- aprendizaje, as como para la toma de decisiones de polti- ca educativa en general. Pruebas internacionales de aprendizaje Avances observados 166 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN Las evaluaciones educativas se administran desde el Sis- tema Estatal de Evaluacin, una unidad tcnica de la Direccin estatal de Formacin, Actualizacin, Capaci- tacin y Superacin Profesional del Magisterio. Las l- neas de accin en materia de evaluacin responden a las prioridades de poltica educativa expresadas en el Plan Estatal de Desarrollo 1998-2004, y ms especficamente del Programa de Desarrollo Educativo 1999-2004. El [2] Los grados de educacin media se indican con la letra M. [3] L=Lenguaje, M=Matemticas, I=Informtica, CS=Ciencias Sociales, CN=Ciencias Naturales, ES=Educacin para la Salud, EA=Educacin Artstica, AA=Aspectos Actitudinales, LE=Lengua Extranjera. [4] CN=Censo Nacional, CR=Censo Regional, MN=Muestra Nacional, MR=Muestra Regional, ME=Muestra Experimental. [5] G=Gobierno [se refiere a instancias de alta direccin del sistema (ministerios, secretaras de planeamiento, etc.)]. U=Usuarios [se refiere a la comunidad escolar, incluyendo a docentes, directivos, alumnos y padres de familia]. P=Pblico en general y medios de comunicacin. [6] CD=Capacitacin Docente (ofrecida por la alta direccin o desarrollada por docentes a partir de l os resul t ados), CG=Capaci t aci n para l a Gest i n, DC=Desarrol l o Curri cul ar, FA=Focalizacin de apoyos a estudiantes y centros educativos. Pruebas internacionales/ Aos de participacin Pas y agencia evaluadora Aos de aplicacin Grados/ aos [2] reas disciplinares [3] Tipo de estudio [4] Publicidad de resultados para conocimiento de [5] Uso de resultados para [6] AGUASCALIENTES, MXICO AGUAS- CALIENTES (Sistema Estatal de Evaluacin) 2000-2003 6 L, M CR G, U, P CD, DC, CG, FA PISA TIMSS (parte de la muestra nacional) Marco institucional 167 SEGUNDA PARTE programa de medicin y evaluacin de aprendizajes se inscribe dentro de un proceso de reestructuracin del sistema de supervisin escolar, especialmente de redis- tribucin de profesionales segn demandas y necesida- des de cada zona educativa, para hacerlo menos burocr- tico-administrativo y ms eficaz en cuanto a sus funciones pedaggicas. Ese proceso de reestructuracin fue poltica y administrativamente complejo, pero pre- par el terreno para hacer posteriormente un uso efecti- vo de los datos recogidos por las evaluaciones. Un coor- dinador pedaggico general, que responde directamente al Secretario de Educacin del estado, asegura la articu- lacin de tareas entre los directores de diferentes unida- des de gestin, y entre estos y los supervisores escolares locales. Todos los programas de mejoramiento en la ac- tualidad estn centrados en la calidad acadmica de las escuelas. Se parte de la conviccin de que el nivel so- cioeconmico de los estudiantes no es el determinante principal de los logros educativos, y que las polticas pedaggicas adecuadas pueden marcar mayor diferencia en los aprendizajes que las condiciones contextuales en que operan las escuelas. As como todos los dems estados de la Federacin, Aguascalientes utiliza el currculo nacional como refe- rente principal para la enseanza. La matriz de referen- cia para el diseo de instrumentos de evaluacin se basa en ese currculo, y los temes de las pruebas se toman del banco de temes que facilita la Direccin General de Evaluacin de la Secretara de Educacin Pblica nacio- nal. No se realizan validaciones de los contenidos curri- culares evaluados al nivel estatal, aunque s se someten a validacin local los temes seleccionados para las pruebas, as como el diseo de los instrumentos que se realiza mediante consulta a expertos locales. Las autori- dades perciben que la validacin de los contenidos no es un aspecto crtico del sistema de evaluacin, puesto que el currculo nacional de referencia no es cuestionado por los docentes, sino su legitimacin a travs de la transpa- rencia y la idoneidad tcnica. Si bien no se han elabora- do estndares al nivel estadual, los objetivos de evalua- cin seleccionados para las pruebas constituyen en s mismos la medida de expectativa oficial respecto a Currculo y estndares 168 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN qu contenidos mnimos deben ser logrados por todos los alumnos de 6 grado del sistema. Las pruebas de aprendizaje aplicadas por el estado son referidas a criterios y censales en el nivel de 6 grado de primaria. La evaluacin se basa en un modelo de progre- so o ganancia educativa, segn la denominacin ofi- cial. Este modelo implica la aplicacin de una prueba diagnstica a principios del ao acadmico y una prueba sumativa al final. La comparacin de ambos resultados arroja un ndice de progreso en el aprendizaje de los alumnos a lo largo de ese ao. Curricularmente, el mo- delo es viable pues los contenidos en lenguaje y mate- mticas de 5 y 6 grado son muy similares, diferencin- dose solamente en la profundidad con que se tratan. Las pruebas incluyen temes de opcin mltiple, y actual- mente se estn incorporando reactivos de produccin de textos escritos. El objetivo es dar cuenta de la capa- cidad de intervencin de la escuela en el desarrollo de habilidades para la composicin escrita de textos. Se elabor una escala de 20 aspectos a evaluar de cada texto, y la tarea de correccin recaer en los superviso- res escolares, directores y maestros, quienes estn sien- do debidamente capacitados en la correccin de textos segn criterios uniformes. Los datos sobre aprendizaje se complementan con cuestionarios de contexto escolar y extraescolar aplicados a alumnos, docentes y directo- res. Tambin se aplica los exmenes federales IDANIS, EXANI I y II, estndares nacionales de educacin pri- maria y secundaria, y el proyecto de autoevaluacin es- colar (modelo escocs). Todos estos instrumentos, sin embargo, son diseados centralmente desde la SEP y el estado de Aguascalientes solo opera como aplicador y consumidor de la informacin recabada. El programa de autoevaluacin escolar, si bien est coordinado desde la SEP, involucra equipos de investigadores locales que de- ciden cules escuelas, usualmente las de ms bajos re- sultados en las pruebas estaduales, se beneficiarn ms de la participacin en ese programa. Los informes de las pruebas estaduales se reportan por niveles de desempeo logrados en cada rea. Los niveles definidos se corresponden con una particin en cuartos Tipos de pruebas Tipos de reporte 169 SEGUNDA PARTE de una escala de 1 a 100 y se clasifican en crtico e insuficiente (no dominio), y en aceptable y deseable (dominio). Los resultados de ganancia educativa a fin de ao se reportan en una escala de -4 a 4, dependiendo de los avances o retrocesos que muestra la comparacin entre pruebas inicial y final. Por ejemplo, si un alumno comenz el ao en un nivel insuficiente y culmin el ao en un nivel deseable, la ganancia, segn la frmula utilizada, se calcula en 3 puntos sobre 4. Si el resultado fue inverso, es decir que comenz en un nivel deseable y decreci a un nivel insuficiente, la ganancia se expre- sa en forma negativa, es decir como -3 puntos en la escala. Estos datos se presentan agregados al nivel esta- dual, y desagregados a los niveles de zona educativa, escuela, grupo (curso) y alumno en forma individual. Los resultados se difunden a autoridades mximas de la gobernacin y de la Secretara de Educacin, a coordi- nadores y supervisores de zonas educativas, a directores, profesores, alumnos y familias. Las escuelas reciben un informe sobre los niveles de desempeo y de ganancia educativa, desagregados por curso y por alumnos indivi- dualmente. Los niveles de desempeo en ambas reas evaluadas se desagregan, para cada grupo y estudiante evaluado, en 50 temes de conocimiento. Es decir, el docente puede conocer exactamente cules objetivos cu- rriculares especficos logr cada alumno y en qu grado de profundidad fue logrado. Los supervisores reciben la informacin desagregada por escuela y por grupo de alumnos. Tambin se presentan los resultados de los cuestionarios de contexto, en forma de porcentajes de respuesta a las opciones seleccionadas por cada grupo (por ejemplo, sobre educacin de padres o actitud hacia la materia), pero no se presentan correlaciones ni otros tipos de anlisis inferenciales. La Secretara de Educa- cin, con la participacin de los supervisores de zona, realiza monitoreos continuos sobre los niveles de ganan- cia o progreso educativo en las diferentes escuelas, y solicita a los directores que realicen propuestas pedag- gicas para superar las dificultades encontradas. El Se- cretario de Educacin en persona visita escuelas, sin previo aviso, y verifica si el director ha ledo los infor- mes y conoce las dificultades reveladas por las pruebas. Uso y difusin de resultados 170 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN Los proyectos de mejoramiento que se pide a las escue- las requieren el uso de las estadsticas disponibles y el anlisis de los factores escolares y extraescolares que muestran incidencia sobre el rendimiento. Se enfatiza el anlisis de los factores intraescolares, pues es sobre ellos que las escuelas pueden incidir directamente me- diante el diseo de nuevas estrategias pedaggicas y cu- rriculares. En las propuestas de mejoramiento diseadas por las escuelas debe expresarse el tipo de progreso cuantitativo esperado para el ao siguiente, tpicamente en forma de crecimiento en los porcentajes de aciertos logrados por cada curso evaluado. Hasta el momento, se reporta que la mayor parte de las escuelas muestra pro- gresos de ao a ao, que un 15% de ellas permanece estable, y que un 5% puede bajar de rendimiento. Se observa que las escuelas que mayor ganancia mues- tran son las que empezaron en los niveles ms bajos de desempeo. Los datos se utilizan tambin para el diseo de capacitaciones a docentes, directores y coordinadores y supervisores de zona. Para los docentes, las capacita- ciones se centran en aspectos curriculares y de metodo- loga y didctica de la enseanza (desarrollo de habili- dades del pensamiento, tcticas de interaccin verbal, tcnicas y modelos de planificacin de contenidos, pro- cesos de pensamiento relacionados con esos contenidos, y estrategias para articular contenidos y habilidades de pensamiento). Las capacitaciones a supervisores estn orientadas a fortalecer su funcin pedaggica por sobre la funcin puramente administrativa que se busca supe- rar. Un componente importante de la difusin es el acce- so que se brinda a los padres sobre los resultados anua- les de la escuela. Segn opiniones de autoridades centrales y zonales, esta estrategia ha incentivado un mayor grado de participacin de las familias en la vida escolar. La prensa local ha hecho una divulgacin tpi- camente amarillista de los resultados, aunque gradual- mente se est logrando que se haga un tratamiento ms sustantivo, educacionalmente hablando, de los datos pu- blicados. Aguascalientes ha participado en las evaluaciones com- paradas de PISA y TIMSS como parte de la muestra nacional mexicana. Pruebas internacionales de aprendizaje 171 SEGUNDA PARTE Destaca entre los avances observados la organicidad del sistema de evaluacin, en tanto promueve el flujo de informacin y el trabajo conjunto entre escuelas, super- visores y diferentes unidades de gestin de la Secretara de Educacin. Tambin se observa un grado importante de institucionalizacin externa del sistema, cada vez que docentes y grupos sindicales apoyan la iniciativa y pres- tan su colaboracin para la realizacin de los operativos. Se aprecia, adems, un desarrollo importante de capaci- dades tcnicas locales para la medicin de aprendizajes y anlisis de datos. Los equipos tcnicos locales expresan cierto grado de preocupacin por la magnitud de las tareas de evalua- cin en relacin a la exigua cantidad de recursos huma- nos disponibles. Algunos supervisores zonales tambin expresan preocupacin por la actitud de algunos grupos de padres de familia, quienes utilizan los datos de las evaluaciones para enfrentarse con los equipos docentes en vez de buscar formas ms eficaces de trabajo colabo- rativo. La insuficiencia de presupuesto para ampliar la cobertu- ra poblacional y curricular de las aplicaciones ha moti- vado la decisin de concentrar parte importante de los esfuerzos tcnicos en lograr que las escuelas den el ma- yor uso posible de los datos disponibles para el 6 grado. El sistema aspira a utilizar los resultados de los operati- vos para evaluar a los docentes, aunque an no se ha diseado los mecanismos ni los esquemas de incentivos profesionales que acompaaran a esas evaluaciones. Ante la propuesta, los docentes de 6 grado cuestionan que las pruebas sean indicadores vlidos sobre su des- empeo profesional, y sostienen que los instrumentos deberan aplicarse tambin en los grados inferiores de escolaridad. Consideran tambin que no deben ser ellos los nicos actores del sistema que rindan cuentas sobre el rendimiento acadmico de los estudiantes. A partir del ao escolar 2003-2004 se iniciar la evaluacin de conocimientos de manera censal en el 4 grado de edu- cacin primaria. Avances observados Dificultades observadas Proyeccin a futuro 172 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN REFERENCIAS BIBLIOGRFICAS FERRER, GUILLERMO (2004). Las reformas curriculares de Per, Colom- bia, Chile y Argentina: Quin responde por los resultados? GRADE. Lima, Per. FERRER, GUILLERMO y PATRICIA ARREGUI (2003). Las pruebas interna- cionales de aprendizaje en Amrica Latina y su impacto en la calidad de la educacin: Criterios para guiar futuras aplicaciones. PREAL, Documento N 26. FERRER, GUILLERMO (1999). Aspectos del curriculum prescrito en Am- rica Latina: Revisin de tendencias contemporneas en curriculum, indicadores de logro, estndares y otros instrumentos. Mimeo. http:// www.grade.org.pe/gtee-preal/docs/Ferrer.pdf RAVELA, PEDRO (Ed.) (2001). Los prximos pasos: Hacia dnde y cmo avanzar en la evaluacin de aprendizajes en Amrica Latina? PREAL, Documento N 20. RAVELA, PEDRO (2001). Cmo presentan sus resultados los sistemas nacionales de evaluacin educativa en Amrica Latina? PREAL. ROJAS, CARLOS y JUAN MANUEL ESQUIVEL (1998). Los sistemas de me- dicin del logro acadmico en Latinoamrica. Banco Mundial, LCS- HD Paper Series. WOLFF, LAURENCE (1998). Evaluacin educacional en Amrica Latina: Progresos actuales y desafos futuros. PREAL. ENTREVISTAS A AUTORIDADES SECTORIALES, CUADROS TCNICOS Y CONSULTORES (2000-2004) Casos Nacionales ARGENTINA Margarita Poggi Jorge Fasce Hilda Lanza Silvia Montoya Juan Cruz Perusia Lucrecia Tulic BOLIVIA Susana Barrera Carlos Gutirrez 173 SEGUNDA PARTE Martha Mndez Esther Balboa Nicole Nucinkis BRASIL Alejandra Shulmeyer Equipo tcnico INEP CHILE Cristin Cox Lorena Meckes Silvia Elgueta Patricia Aninat Beatrice valos Leonor Cariola Erika Himmel COLOMBIA Carlos Pardo Hctor Fernndez COSTA RICA Juan Manuel Esquivel Sandra Arauz CUBA Hctor Valds REPBLICA DOMINICANA Leo Valeirn ECUADOR Martha Grijalva Gonzalo Barreno EL SALVADOR Graciela de Salgado Hilda lvarez MXICO Felipe Martnez Rizo Jess Meja Vctor Velsquez PANAM Laura G. de Vergara Ruth Nativ PARAGUAY Martha Lafuente URUGUAY Pedro Ravela Beatriz Picaroni Magela Figarola 174 ESTADO DE SITUACIN DE LOS SISTEMAS NACIONALES DE EVALUACIN VENEZUELA Jos Mirs Julia Montoya (CNU) Casos Subnacionales MINAS GERAIS, BRASIL Cleuza Pereira Mara Ins Barrozo PARAN, BRASIL Mara Luiza Marques Dias Marlene C. de Araujo SO PAULO, BRASIL Cristina Amoroso Mara Julia Filgueiras Yara Espsito BOGOT, COLOMBIA Eliana Iannini Jos Medina lvaro Leuro AGUASCALIENTES, MXICO Javier Anaya Josefina Mercado Flabiano Jimnez