Sistema Regional de Evaluacin y Desarrollo de Competencias Ciudadanas-SREDECC

RESUMEN EJECUTIVO
Evaluacin de Medio Trmino
Fernando Reimers y Eleonora Villegas-Reimers
Junio 2010

1. Contenido del informe

EL informe presenta los resultados de la evaluacin de medio trmino del Sistema Regional de Evaluacin y Desarrollo de Competencias Ciudadanas (SREDECC). El SREDECC es un proyecto que est siendo ejecutado por el Centro Regional para el Fomento del Libro en Amrica Latina y el Caribe (CERLALC), para beneficio de seis pases latinoamericanos: Chile, Colombia, Guatemala, Mxico, Paraguay y la Repblica Dominicana. El proyecto, concebido como un Bien Pblico Regional, est siendo financiado mediante una cooperacin tcnica no reembolsable del Banco Interamericano de Desarrollo (BID) por un monto de un milln quinientos treinta mil dlares de los Estados Unidos de Amrica (US$1.530.000), destinados a la contratacin de servicios de consultora y la adquisicin de bienes, ms aportes de contrapartida de los gobiernos de los pases participantes, por un monto de un milln setecientos mil dlares (US$1.700.000), para un costo total del programa de tres millones doscientos treinta mil dlares (US$3.230.000). El proyecto se inici oficialmente el 26 de Enero de 2007 y tiene una duracin de 42 meses. Este proyecto, ha logrado importantes avances en el campo de la educacin ciudadana, y ha permitido adems aprender valiosas lecciones en relacin a la creacin de bienes pblicos regionales en educacin. Los principales logros son el desarrollo de capacidad institucional en la definicin y medicin de las competencias ciudadanas de los jvenes en la escuela, y la creacin de mecanismos de cooperacin regional en evaluacin. Producto de estos logros son un referente regional de competencias ciudadanas, utilizado para evaluar la pertinencia del currculo en los pases participantes para permitir la oportunidad de adquirir dichas competencias. Otro logro es una evaluacin regional del grado en que los jvenes en la escuela han adquirido dichas competencias, en el marco de una evaluacin comparada internacional.

Igualmente se han documentado en el marco de este proyecto una serie de programas para promover el desarrollo de dichas competencias. El proyecto tiene como fin contribuir a la construccin de una ciudadana democrtica en la regin de Amrica Latina a travs del fortalecimiento de la educacin para la ciudadana y la democracia . El propsito especfico del proyecto es la construccin del Sistema Regional de Desarrollo y Evaluacin de Competencias Ciudadanas (SREDECC) que apoye el desarrollo de polticas, programas y prcticas educativas en cada uno de los seis pases participantes. Para alcanzar este propsito, el proyecto propone tres componentes: 1. Establecer un Marco de Referencia Regional de Competencias Ciudadanas 2. Evaluacin de Competencias Ciudadanas y Factores Asociados 3. Generacin de las condiciones necesarias para la creacin de un sistema regional de evaluacin de competencias ciudadanas. El proyecto contempla adems procesos de evaluacin interna, externa y de auditora para apoyar su ejecucin. Esta evaluacin de medio trmino tiene como propsito determinar el logro de los objetivos y metas parciales de cada uno de los componentes del proyecto para fines de retroalimentacin a los coordinadores nacionales de los seis pases que participan en el proyecto, a la Secretaria Ejecutiva del proyecto, al coordinador regional y al BID 1. En esta evaluacin se ofrecen tambin recomendaciones para aumentar la probabilidad de alcanzar los propsitos del proyecto en lo que resta de su ejecucin. Para la realizacin de esta evaluacin se desarrollaron instrumentos y procedimientos de recoleccin de informacin, los cuales estn reflejados en la estructura de este informe y en la seccin de metodologa; como parte de la evaluacin, evaluamos el desempeo y nivel de cumplimiento de los objetivos y metas del proyecto descritos en el Marco Lgico; ponderamos el proceso de participacin de los seis pases beneficiarios del proyecto; analizamos los documentos generados hasta la fecha en la ejecucin del proyecto; entrevistamos a los coordinadores nacionales y miembros de la Secretara Ejecutiva; y evaluamos el avance en el desarrollo de mecanismos de intercambio de soluciones para la generacin de polticas de educacin ciudadana. Este es el documento final de la evaluacin de medio trmino. En el mismo se proponen acciones para mejorar la ejecucin del proyecto y promover la sostenibilidad de su gestin institucional. Este informe de evaluacin est basado en un anlisis de todos los documentos e informes producidos por el Proyecto hasta la fecha, en
Estructuralmente el SREDECC esta coordinado por una Secretara Ejecutiva, que incluye a representantes de Chile, Colombia y Mexico, una Coordinacin Tcnica con coordinadores nacionales de los seis pases-, y una Unidad Ejecutora ubicada en el CERLALC.
1

Resumen Ejecutivo. Evaluacin de Medio Trmino. 2|Pgina

entrevistas con cada uno de los coordinadores nacionales, con los miembros de la Secretara Ejecutiva y con el coordinador general del proyecto, y con autoridades superiores del Ministerio de Educacin Nacional de Colombia y del Centro Regional para el Fomento del Libro en Amrica Latina y el Caribe, sede de la unidad ejecutora del proyecto. La fecha de recoleccin de datos para esta evaluacin es al 30 de Marzo de 2010. El propsito de esta evaluacin es constatar en qu medida: 1. Se han llevado a cabo las acciones previstas por el proyecto 2. Se estn logrando los resultados esperados 3. La implementacin del proyecto sugiere que la teora del mismo es adecuada para lograr los objetivos deseados. La teora bsica de este proyecto era que sera posible mejorar indirectamente las oportunidades de los estudiantes en Amrica Latina para desarrollar competencias para una ciudadana democrtica si los Ministerios de Educacin de la regin apoyaban la evaluacin de las competencias de ciudadana democrtica, identificaban buenas prcticas en la regin, y apoyaban acciones de gestin institucional, formacin docente y desarrollo de programas educativos en esta rea. Un supuesto crtico, a nuestro juicio inadecuado, era que la evaluacin e identificacin de buenas prcticas seran condiciones necesarias y suficientes para que los Ministerios emprendieran programas de educacin ciudadana, adoptaran nuevos programas y llevaran a cabo programas de formacin docentes.

2. Lecciones aprendidas
La ejecucin de este proyecto ofrece un conjunto de valiosas lecciones aprendidas, con relevancia para el campo de la educacin ciudadana, as como para el campo de gestin de proyectos de desarrollo. Estas son las lecciones, a nuestro juicio, ms importantes que se derivan de este proyecto: Los propsitos democrticos de la escuela se pueden definir claramente y es posible lograr acuerdos sobre ellos. Es posible que educadores de seis pases de Amrica Latina logren acuerdos sobre las dimensiones de ciudadana que son indispensables para el ejercicio de una ciudadana democrtica en la regin. Sobre este acuerdo es posible definir instrumentos de medicin de las competencias ciudadanas, evaluar las polticas educativas y el currculo, e identificar buenas prcticas para promover dichas competencias. Las competencias ciudadanas de los jvenes, as como las condiciones pedaggicas y de gestin escolar que contribuyen a desarrollarlas se pueden medir. Es posible para especialistas en evaluacin de los seis pases que participaron en este proyecto desarrollar, con apoyo tcnico especializado de instituciones como la IEA, instrumentos de medicin de competencias ciudadanas y medir dichas competencias en
Resumen Ejecutivo. Evaluacin de Medio Trmino. 3|Pgina

muestras representativas de la poblacin estudiantil con criterios de calidad tcnica de excelencia. Se puede aprender a evaluar mejor y la cooperacin intra-regional e internacional puede ser un gran apoyo. Una de los ms importantes logros de este proyecto es el desarrollo de capacidad en materia de evaluacin en un dominio generalmente considerado ms complejo que las competencias convencionales de lectura y matemticas. En el desarrollo de esta capacidad jug un papel importante el intercambio de experiencias entre pases de la regin, as como la asistencia tcnica internacional. Esta experiencia de intercambio regional ha contribuido a conformar una red informal de expertos en evaluacin y a desarrollar una red de expertos en educacin ciudadana. Probablemente sea ste uno de los bienes regional ms importantes logrado por este proyecto. Medir y evaluar es necesario pero no es suficiente para desarrollar ciudadana democrtica en la escuela. La definicin y medicin de las competencias ciudadanas y de los procesos pedaggicos y de gestin asociados a ellas no se traducen automticamente en procesos de mejora de currculo o de formacin de profesores en enseanza de ciudadana democrtica. Ofrecer educacin de calidad para desarrollar competencias ciudadanas es el resultado de un sistema. La tarea de mejorar las oportunidades de aprendizaje, para desarrollar competencias de ciudadana u otras, requiere de buena coordinacin y alineamiento entre los programas de estudio, los materiales educativos, las prcticas pedaggicas de los profesores, las formas de gestin de la escuela, las formas de evaluacin. Para permitir esta buena alineacin y coordinacin es necesario liderazgo que produzca formas de gestin, a nivel escolar y del sistema, que permita comunicacin y articulacin. Disear no es implementar. Disear un proyecto de desarrollo es muy diferente a ejecutarlo. El diseo de este proyecto fue deficiente en algunos aspectos de su lgica, en la asignacin de recursos y programacin de algunas de las actividades previstas, y en la magnitud de sus aspiraciones. En retrospectiva no parece razonable esperar que, en un rea de relativa poca prioridad poltica y con menor trayectoria institucional que otras, como es el caso de la educacin ciudadana, se pudiera construir un S istema Regional de Medicin y Desarrollo de dichas competencias, y que adems fuese sustentable. Los logros de este proyecto son muy positivos en medicin, y lo son tambin en haber constituido un verdadero esfuerzo regional, donde hubo aprendizajes y transferencia de conocimientos entre los seis pases participantes. La aspiracin de haber constituido un Sistema se logr slo parcialmente, en tanto las acciones en los diversos componentes tuvieron relacin y generaron sinergias positivas por ejemplo la relacin entre la elaboracin de la matriz de dimensiones y la preparacin de la pruebadonde faltaron estas interacciones fue entre los componentes del proyecto diseados para darle interlocucin poltica al proyecto el foro regional, las consultas nacionalesy los aspectos ms tcnicos del mismo la
Resumen Ejecutivo. Evaluacin de Medio Trmino. 4|Pgina

medicin. Los elementos ms dbiles en la implementacin tienen que ver con el no haber logrado interlocucin con las entidades con posibilidad de incidir en el desarrollo de competencias ciudadanas y con la sustentabilidad del proyecto. Hay que cultivar lderes, con capacidad de liderazgo instruccional, para impulsar cambio educativo. La creacin del sistema descrito en el punto anterior es la labor de lderes educativos con la capacidad de promover cambio instruccional. La tarea por este liderazgo puede ser compartida entre integrantes de equipos que representen a diversas unidades dentro y fuera de los ministerios. Pero este liderazgo no puede simplemente asumirse, por el contrario, debe ser cultivado. La necesidad de superar una visin de que el cambio educativo lo producen informes y propuestas de cambio en este caso los resultados de los varios estudios producidos en este proyectoy reemplazarla por una visin en la que el cambio educativo es el resultado de la accin concertada y eficaz de actores concretos en las instituciones educativas es uno de los grandes aprendizajes de la ejecucin de este programa, y la base de la mayora de las recomendaciones presentadas en el capitulo anterior. Son necesarios grupos de trabajo que gradualmente se hagan cargo de los fines y acciones de un proyecto dentro de los procesos regulares de funcionamiento del Ministerio de Educacin . En proyectos que buscan innovar en los propsitos y procesos de los sistemas educativos, como es el caso de este, no es razonable suponer que existen ya las estructuras y rutinas para asimilar las actividades del proyecto y para facilitar las necesarias coordinaciones por ejemplo, la coordinacin entre actividades de evaluacin y las de toma de decisiones sobre nuevos programas educativos. Es necesario crear estos espacios de coordinacin e integracin. Ello buscara hacer que el liderazgo por este proyecto sea compartido, y no que descanse en el liderazgo de un pequeo grupo de especialistas, lo cual corre el riesgo de aislar al proyecto y eventualmente de no lograr su sustentabilidad. Para que un proyecto se institucionalice sus componentes deben insertarse en las entidades de funcionamiento regular del sistema educativo y el propsito del mismo, y las acciones necesarias para alcanzarlo deben convertirse en parte de la cultura y de las rutinas de la institucin. El trabajo aislado de un grupo pequeo de especialistas, por excelente que sea, no es suficiente para lograr dicha institucionalizacin. Es especialmente arriesgado avanzar en la implementacin de un proyecto como este sobre la base del esfuerzo extra-ordinario y el voluntarismo de un pequeo grupo, porque no es posible prever que estos puedan sostenerse ms all del periodo de ejecucin del proyecto. Ejecutar requiere tomar riesgos. Frente a un programa en un rea relativamente novedosa, como lo es la evaluacin y desarrollo de competencias ciudadanas, es inevitable que cualquier diseo sea imperfecto porque la informacin de que se dispone sobre el tipo de acciones y procesos que pueden contribuir a los resultados esperados es incompleta cuanto ms incompleta mientras ms novedoso el tema. Esto implica que la provisionalidad inevitable de la teora que subyace a cualquier proyecto si
Resumen Ejecutivo. Evaluacin de Medio Trmino. 5|Pgina

el proyecto hace A lograr el resultado Blo es ms an en reas donde la base de conocimiento y de prctica est menos desarrollada. Esta base de conocimiento slo podr desarrollarse sobre la base de la ejecucin de estos proyectos, y ejecutar proyectos con diseos incompletos o imperfectos requerir tomar riesgos. En este caso, es claro que la Secretara Ejecutiva y la coordinacin regional asumieron varios riesgos al hacer adecuaciones simplemente para poder avanzar frente a deficiencias de diseo que de otro modo habran llevado a la imposibilidad de hacerlo. El beneficio innegable de tomar riesgos, y por lo tanto de ejecutar, es que es posible aprender. Por ejemplo, en retrospectiva, las demandas del componente dos la participacin en el tercer estudio de educacin cvica de la IEAson suficientemente altas como para considerar este un proyecto en s mismo, o para darle una mayor dimensin e infraestructura de apoyo en un proyecto ms amplio, que lo incluya como componente. En retrospectiva es posible tambin pensar que probablemente fue demasiado ambicioso aspirar a que el mismo proyecto creara un sistema de medicin y de desarrollo de competencias ciudadanas, tal vez secuenciar ambas aspiraciones primero en un proyecto para desarrollar un sistema de medicin, seguido de un proyecto para desarrollar un sistema de desarrollo de competencias ciudadanas. La sustentabilidad de un proyecto requiere prever cambios en los niveles polticos del sistema educativo . Las prioridades y el apoyo poltico de los niveles ms altos de decisin del sistema educativo cambian con el tiempo, en parte porque las autoridades educativas cambian, y en parte porque dichas prioridades reflejan la economa poltica del sector y del pas, las cuales son fluidas. Por ello para asegurar el apoyo poltico a un proyecto como ste que se centra en un rea novedosa no institucionalizada para el sistema, es necesaria una estrategia que por una parte prevea la continua actualizacin de las autoridades sobre el proyecto, sus fines, propsitos, teora y componentes, y por otra parte que cultive apoyo en otros niveles del sistema, por ejemplo entre niveles tcnicos de los sectores con los cuales es necesaria articulacin las unidades de materiales, currculo o formacin docente, por ejemplo. Es posible establecer mecanismos de cooperacin regionales entre pases en diversos niveles de desarrollo institucional que sean de valor para todos. Este proyecto demostr que es posible para pases con diversos grados de capacidad y experiencia en el rea de evaluacin en general, y en el tema de educacin ciudadana en particular, colaborar en modalidades que son equitativas, donde hay oportunidades de desarrollo para todos los participantes, y donde las relaciones de intercambio entre los pases son en mltiples direcciones. En este proyecto los participantes de los diversos pases descubrieron el valor de aprender unos de otros, intercambiar experiencia, y que todos podan aprender de una actividad regional, tanto pases como Colombia, con la mayor capacidad institucional en la evaluacin de competencias ciudadanas en la regin, como Guatemala, Paraguay o la Repblica Dominicana, con los menores niveles de capacidad institucional en estos temas.

3. Conclusiones
Resumen Ejecutivo. Evaluacin de Medio Trmino. 6|Pgina

El proyecto ha ejecutado la mayora de las actividades contempladas en su diseo, realizando adecuaciones, cuando ello ha sido necesario, para responder a necesidades polticas, administrativas o financieras que han permitido avanzar en el logro de los objetivos inicialmente trazados. Hasta la fecha, los principales logros del proyecto han sido permitir la incorporacin de seis pases latinoamericanos en un Estudio Internacional de Educacin Cvica y Ciudadana (ICCS) organizado por la Asociacin Internacional para la Evaluacin del Logro Educativo (IEA), adems de complementar esta participacin con un estudio de programas para el ejercicio de la ciudadana democrtica elaborado en base a un marco de referencia regional (Referente Regional de Educacin Ciudadana) y de un estudio regional de prcticas de educacin en ciudadana democrtica (Estudio de Evaluacin de Programas de Formacin Ciudadana). Otro logro del proyecto ha sido el desarrollo de capacidad tcnica en el rea de evaluacin de competencias ciudadanas sobre todo en las unidades de evaluacin de los ministerios de educacin de los pases participantes. El desafo ms importante que confronta el proyecto son las deficiencias de diseo y el hecho de que algunas de las adecuaciones realizadas le restaron prioridad y apoyo poltico al mismo, dando como resultado una debilidad de las articulaciones inter e intra institucionales en los Ministerios de Educacin, las cuales resultan necesarias para incidir sobre las polticas y programas educativos. Como resultado de lo anterior, es altamente improbable que se logren los propsitos y el fin ltimo. Dado que el proyecto se encuentra a menos de un ao de conclusin, es poco probable que en este tiempo sea posible hacer ajustes y actividades adicionales que permitan el logro de todos sus propsitos. La principal deficiencia del proyecto es el no haber logrado promover la articulacin entre las acciones adelantadas por el personal de las unidades de evaluacin que ha participado en su desarrollo y el personal a cargo del diseo del currculo, estndares nacionales y programas de estudio quienes implementan acciones para apoyar la formacin inicial y continua de maestros en materia de educacin ciudadana y de innovacin educativa y gestin institucional. En consecuencia, un desafo para el Sistema es pasar de una etapa de diagnstico, estudio y elaboracin de referentes a una nueva etapa de articulacin de los pases miembros para proponer y ejecutar acciones encaminadas a desarrollar competencias ciudadanas en los alumnos, apoyando as el paso de la evaluacin a la accin a partir de decisiones informadas. En estos momentos todas las esperanzas de que sea posible lograr esta transicin descansan en un foro regional a realizarse en Octubre de 2010 en el que esperan presentarse los resultados del proyecto. Es improbable que un solo encuentro, por estratgicamente que sea planeado y ejecutado, logre en un par de das una tarea de articulacin que no se ha logrado en cuatro aos. Hay que destacar que este desafo es resultado por una parte de la precariedad con que fue instalado el proyecto, de su diseo y de la misma falta de articulacin entre estas unidades en los propios Ministerios de Educacin. Entre las deficiencias de diseo esta el no considerar debidamente la necesaria secuenciacin entre los componentes del proyecto.
Resumen Ejecutivo. Evaluacin de Medio Trmino. 7|Pgina

El momento de la evaluacin no fue oportuno para el cumplimiento de objetivos de mejoramiento. Los resultados de ICCS pueden generan un impacto favorable y movilizar actores en los ministerios y la sociedad, con miras a fortalecer proyectos escolares de desarrollo de competencias ciudadanas (Miembro de la Secretaria Ejecutiva). Otro desafo directamente asociado con la deficiencia descrita anteriormente lo constituye lograr la sostenibilidad de las acciones iniciadas por el proyecto, dadas las restricciones financieras en los Ministerios de Educacin de los pases participantes y la falta de previsiones especficas para continuar financiando las actividades que le daran continuidad al proyecto. La misma incertidumbre se presenta con relacin a la continuidad del apoyo institucional del organismo ejecutor, una vez agotados los recursos financieros del proyecto. An cuando en el marco del proyecto se ha elaborado un ejercicio de sostenibilidad, no hay evidencia de que exista el apoyo poltico e institucional para traducir las ideas sobre sostenibilidad ah contempladas en programas financiados por los Ministerios de Educacin. Un aspecto en el que coinciden todas las personas entrevistadas es la importancia de lograr, en el perodo restante de ejecucin de este proyecto, mejores articulaciones dentro de los Ministerios de Educacin, especialmente entre los varios departamentos de estas instituciones que cuenten con capacidad para incidir sobre los programas de educacin ciudadana, con el fin de lograr un abordaje integral desde las diferentes dependencias para visibilizar el tema de formacin ciudadana. Este informe formula un conjunto de recomendaciones en este sentido. En parte, la gradual prdida de prioridad poltica del proyecto y la eventual falta de apoyo a su sostenibilidad, resulta de la inestabilidad o falta de continuidad de las autoridades ministeriales y personal tcnico a cargo del tema de formacin ciudadana en los pases participantes. Desde el comienzo hasta el presente, los Ministros de Educacin en cinco de los seis pases participantes han cambiado, en algunos casos varias veces, y tambin se han presentado cambios sustanciales en el personal que ha participado directamente en el proyecto. Esto conlleva que con cada cambio de gabinete o de personal tcnico debe darse a conocer nuevamente el trabajo realizado, inicindose a veces de cero. Esto requiere una labor continua de sensibilizar y comprometer a tomadores de decisiones y tcnicos que produce desgaste y que no est contemplada en el diseo del proyecto. Un desafo afn lo constituye el hecho de que el proyecto opera en contextos polticos e institucionales diversos, afectados de diferente manera por transiciones presidenciales y ministeriales, y con diferentes tradiciones profesionales en la administracin educativa. Debido a que an no se han presentado los resultados del estudio comparado de competencias ciudadanas, no es posible todava hablar del impacto del proyecto en las decisiones de polticas y programas educativos o sobre las competencias de los jvenes de los seis pases participantes, pero s se puede evaluar su incidencia en el desarrollo de capacidad institucional la cual es muy positiva. Varias de las personas entrevistadas insistieron en que
Resumen Ejecutivo. Evaluacin de Medio Trmino. 8|Pgina

dicha presentacin permitir que el proyecto tenga buena parte del impacto esperado.

Resumen Ejecutivo. Evaluacin de Medio Trmino. 9|Pgina