Академический Документы
Профессиональный Документы
Культура Документы
SMOI:
Setiembre 2006
S M O I: El Sistema de Monitoreo Orientado hacia los Impactos de PROEDUCA-GTZ Programa de Educacin Bsica de la Cooperacin Alemana al Desarrollo PROEDUCA-GTZ Casilla Postal 1335, Lima 18, Per postmaster@proeduca-gtz.org.pe www.proeduca-gtz.org.pe Responsable de publicaciones: SANDRA CARRILLO LUNA
Asistencia editorial: OLGA MEJA BECERRA Diagramacin e impresin: Tarea Asociacin Grfica Educativa Impreso en el Per Primera edicin, setiembre de 2006 Tiraje: 500 ejemplares Hecho el depsito legal en la Biblioteca Nacional del Per, registro 2006-8059
Todos los derechos estn reservados. Se permite la reproduccin parcial no comercial de este texto siempre y cuando se indique la fuente y se cuente con el permiso expreso de los editores.
Contenido
Monitoreando nuestro monitoreo. A modo de presentacin Introduccin 1. El Programa de Educacin Bsica PROEDUCA-GTZ 1.1 Objetivo del programa 1.2 Componentes 1.3 Niveles de intervencin 1.4 Ejes transversales 1.5 Lneas de accin 1.6 Actores 1.7 PROEDUCA a travs del tiempo 2. El monitoreo orientado hacia los impactos 2.1 Las cadenas de impacto 2.2 El monitoreo 2.3 El Sistema de Monitoreo Orientado hacia los Impactos (SMOI) 2.4 Pasos para disear un SMOI 3. El SMOI de PROEDUCA: organizacin e implementacin 3.1 Objetivos 3.2 Principios 3.3 Organizacin 3.4 Implementacin 3.5 El SMOI de PROEDUCA y otros sistemas de monitoreo 4. Reflexiones finales y lecciones aprendidas Glosario Siglas Bibliografa Anexos 5 7 9 9 9 11 12 13 15 18 21 21 24 25 26 29 29 29 30 39 41 43 49 53 55 59
Introduccin
En los ltimos aos ha sido creciente la necesidad de asegurar los impactos generados por los proyectos y programas sociales que se desarrollan en el pas. De all tambin la mayor relevancia de implementar sistemas de monitoreo que faciliten el alcance de estos impactos. En PROEDUCA-GTZ, el Programa de Educacin Bsica coordinado por la Deutsche Gesellschaft fr Technische Zusammenarbeit (GTZ) y el Ministerio de Educacin, hemos asumido el reto de elaborar e implementar un Sistema de Monitoreo Orientado hacia los Impactos (SMOI) que el presente documento describe, para que pueda servir de gua y material de consulta al personal que viene trabajando en el programa y a quienes se incorporen a l ms adelante. La tarea de elaborar un sistema de monitoreo orientado hacia los impactos no ha sido fcil. Aun cuando no la concebimos terminada, estamos convencidos de que es el momento de socializarla y ponerla en marcha como sistema. Creemos que es adems una manera de contribuir a la gestin del conocimiento, tanto con relacin a las contrapartes y socios del programa como a otros proyectos, programas, evaluadores y personas interesadas en imprimir a las actividades de monitoreo una orientacin hacia los impactos. El documento ha sido estructurado en cuatro secciones claramente definidas. En la primera se describe brevemente el programa: objetivos, componentes, niveles, lneas de accin, ejes transversales y actores son presentados para tener una idea global de lo que se busca alcanzar con la intervencin de PROEDUCA-GTZ. La seccin cierra con un resumen de cmo el programa ha evolucionado a travs del tiempo bajo la influencia de un nuevo paradigma: el de la orientacin hacia los impactos. En la segunda seccin se exponen aspectos conceptuales propios del monitoreo orientado hacia los impactos. Se explican y detallan trminos como: impactos, cadena de impactos, brecha de atribucin y sistema de monitoreo. Adems, se describen los pasos que se deben seguir en la elaboracin de un sistema de monitoreo. La tercera seccin explica cmo es el Sistema de Monitoreo Orientado hacia los Impactos que ha desarrollado PROEDUCA-GTZ. Se expone cada una de las reas de observacin que componen el sistema y se detallan las herramientas y procedimientos utilizados para monitorear la intervencin hacia los impactos; tambin se indica a los responsables y el cronograma de actividades establecido durante su ejecucin. La ltima seccin hace un cierre presentando algunas reflexiones y lecciones aprendidas durante la elaboracin y ejecucin del sistema. Tambin se recogen la experiencia recibida desde otros programas y la opinin de expertos sobre el tema.
Expresamos nuestro agradecimiento a todos los que contribuyeron con sus comentarios a una parte o a todo el documento, principalmente a Ulrike Wissler, Roland Baecker, Ricardo Cuenca, Ana Isabel Moreno, Irene Blanco, Ana Mara Pinedo, Patricia Andrade, Sandra Carrillo, Iris Ahr, Jessica OHara, Isabel Flores y Luis Miguel Saravia.
Technische Zusammenarbeit (GTZ) GmbH y el Ministerio de Educacin del Per que, con el propsito de contribuir a elevar la calidad educativa en el pas, se viene ejecutando desde el ao 2002 para mejorar el desempeo docente en cuatro regiones del Per: Huancavelica, Piura, Madre de Dios y Lambayeque. En el mapa que aparece en la pgina siguiente se seala el mbito geogrfico de intervencin del programa. Tambin se incluyen algunos datos estadsticos educativos de las regiones.
1.2 Componentes
Para que los docentes mejoren su desempeo, PROEDUCA focaliza su intervencin en tres componentes: calidad tcnica de la formacin docente, gestin educativa y formulacin participativa de polticas educativas. El componente de calidad tcnica de la formacin docente apunta hacia el desarrollo de un sistema integral de formacin y capacitacin de los maestros, orientado a satisfacer sus necesidades y demandas. Se trabaja asimismo en aspectos propiamente pedaggicos vinculados al diseo e implementacin de currculos, materiales didcticos y tcnicas para evaluar el desempeo docente, enfatizando el tema de la educacin intercultural bilinge.
P I U R A 241 488 alumnos de primaria* 8 254 docentes en servicio* 2 200 docentes en formacin* 9% tasa de desaprobados primaria 4,9% rend. suficiente en matemtica (6.) 40% extraedad en primaria 3,7% tasa de gasto pblico del PBI S/.657 gasto anual por alumno
LAMBAYEQUE 141 890 alumnos de primaria* 4 653 docentes en servicio* 2 166 docentes en formacin* 8% tasa de desaprobados primaria 8,9% rend. Suficiente en matemtica (6.) 37% extraedad en primaria 2,7% tasa de gasto pblico del PBI S/.704 gasto anual por alumno
MADRE DE DIOS 14 746 alumnos de primaria* 587 docentes en servicio* 225 docentes en formacin* 9% tasa de desaprobados primaria 3% rend. Suficiente en matemtica (6.) 35% extraedad en primaria 4,1% tasa de gasto pblico del PBI S/.1 004 gasto anual por alumno
HU ANC AVELIC A HUANC ANCA ELICA 95 968 alumnos de primaria* 3 553 docentes en servicio* 989 docentes en formacin* 13% tasa de desaprobados primaria 4,1% rend. Suficiente en matemtica (6.) 56% extraedad en primaria 6,3% tasa de gasto pblico del PBI S/.745 gasto anual por alumno
* Los nmeros de alumnos y docentes pertenecen a escuelas pblicas de primaria de menores escolarizada. Fuente: Cifras de La educacin por regiones 1998-2003, Indicadores de la educacin 2005 y Perfil educativo de las regiones (2006).
10
El componente de gestin educativa se centra en el fortalecimiento de las capacidades de gestin de las diversas instituciones estatales responsables de la formacin docente. En el marco de las nuevas tareas y funciones descentralizadas, se desarrollan capacidades de gestin y se fortalece a los actores en el desempeo de nuevos roles. El componente de formulacin participativa de polticas educativas se concentra en el desarrollo de instrumentos y mecanismos participativos y en el fortalecimiento de las instituciones de la sociedad civil, con el fin de fomentar el dilogo poltico entre las instancias estatales y los actores de la sociedad civil vinculados a lo educativo.
Nacional
Regional
Local
11
12
Nacional
Regional
Local
I n te r c u l t u ra l i d a d, pa r t i c i p a c i n , g n e ro
Desarrollo de capacidades en la direccin nacional de formacin y capacitacin docente del sector Educacin: se busca fortalecer las capacidades de gestin a travs de la elaboracin de un Sistema de Formacin Continua, concertado con la sociedad y otras instancias educativas, y en la implementacin de sistemas de monitoreo de la gestin educativa y pedaggica de los ISP. Desarrollo de capacidades de las instancias descentralizadas: se apunta a que los funcionarios de las Direcciones Regionales de Educacin (DRE) gestionen las polticas educativas en su jurisdiccin de manera pertinente, eficaz, democrtica y con transparencia, con especial atencin en la gestin de las polticas de formacin docente; se busca, asimismo, fomentar el desarrollo de sus capacidades, asesorndolos en su desempeo con relacin a los procesos de planificacin institucional y operativa, y en la implementacin de un sistema de regulacin de la formacin en servicio.
13
Desarrollo de capacidades de las instancias de participacin: se apoya la creacin y el fortalecimiento de los Consejos Participativos Regionales de Educacin (COPARE) como una instancia de vigilancia, participacin y concertacin de la gestin educativa regional, desarrollando capacidades tcnicas, organizativas y comunicacionales. Gestin de polticas educativas en el marco de la descentralizacin: se asesora en la elaboracin participativa y consensuada, entre el sector pblico estatal y la sociedad civil, del Proyecto Educativo Regional (PER ); asimismo, en la generacin de condiciones para su implementacin, fortaleciendo las capacidades de gestin de los Gobiernos Regionales, Direcciones Regionales de Educacin y Consejos Participativos Regionales de Educacin; y en la generacin de alianzas con otros actores institucionales. Desarrollo institucional de las instituciones pedaggicas : se busca mejorar la calidad de la formacin inicial y en servicio que ofrecen los institutos superiores pedaggicos, a travs del mejoramiento de las capacidades pedaggicas de sus formadores, desde la elaboracin de sus instrumentos de planificacin (carteles de contenidos, slabos, sesiones de aprendizaje) y el desempeo de su actividad pedaggica en el aula; se incluye el fortalecimiento de los consejos educativos institucionales mediante la asesora en la planificacin, implementacin y monitoreo de un plan de desarrollo de capacidades de los formadores. Tratamiento de lenguas: se encamina a crear y encauzar polticas institucionales en los ISP para el uso de lenguas en la formacin docente intercultural bilinge. Est orientado bsicamente a los institutos pedaggicos bilinges con el objetivo de formar profesionales en Educacin Intercultural Bilinge (EIB) que dominen el quechua y el castellano oral y escrito con el fin de conducir procesos de aprendizaje en ambas lenguas. Desarrollo de competencias interculturales: se proponen, como eje que atraviesa todo el programa, cinco competencias interculturales para que sean desarrolladas por los actores y con relacin a todas las actividades que realizan los componentes para transversalizar el tema. En formacin docente, el enfoque intercultural y las competencias interculturales se plasman en las herramientas de programacin como los slabos y las sesiones de aprendizaje, as como en el mismo desempeo docente en el aula, en la relacin formadoralumno y en los modos de abordar la prctica y el discurso pedaggico para la formacin de futuros maestros. En gestin y polticas educativas, el tema de la interculturalidad es posicionado en una toma de conciencia de las distintas realidades en cada regin, y se viene plasmando en la elaboracin de los PER correspondientes.
14
Estas lneas de accin pueden ser ubicadas en la siguiente matriz de niveles y componentes.
Nacional
Regional
Local
Tratamiento de lenguas
1.6 Actores
En la ejecucin del programa PROEDUCA-GTZ se distinguen varios actores:
15
Direccin
Monitoreo
Administracin
Especialistas
Segn el D. S. 006-2006-ED, la nueva denominacin es: Direccin de Educacin Superior Pedaggica, que depende de la nueva Direccin Nacional de Educacin Superior y Tcnico-Profesional. En el mbito regional tambin se encuentran considerados los Centros Amauta.
16
Nacional
DINFOCAD
Regional
GR
DRE
COPARE
Local
ISP
Las primeras coordinaciones datan de 1996 y su consolidacin llega el 17 de febrero del 2005, con la firma del Acta de entendimiento.
3 4
La cadena de impactos hasta llegar a los alumnos de primaria es demasiado larga y el tiempo planificado del programa, demasiado corto; de all la necesidad de incluir a los docentes en servicio como parte del objetivo del programa.
17
Nacional
DINFOCAD
COPARE
Regional
DRE
Local
Tratamiento de lenguas
ISP
Contrapartes
Eje transversal
Lneas de accin
18
2002
2003
2004
2005
2006
2007
2008
2009
1. fase
2. fase
3. fase
Su conceptualizacin es el producto de un cmulo de experiencias que se han ido generando en el tiempo a partir de su intervencin en el sector educativo, pero tambin en respuesta a los nuevos contextos surgidos en la concepcin de los programas5:
Nuevos lineamientos para la asesora tcnica de la GTZ : la perspectiva de los programas. Con el objeto de dar mayor eficiencia y alcance a las intervenciones, desde el 2002 la cooperacin tcnica alemana ha buscado romper el aislamiento y los esfuerzos atomizados de sus proyectos reunificndolos alrededor de un programa nico con un objetivo comn. La tarea no fue sencilla pero signific el nacimiento de PROEDUCA-GTZ, que reuna los proyectos PROFOGED, PROFODEBI y PROFORMA, que hasta entonces se ejecutaban con el Ministerio de Educacin como contraparte, a la vez que recoga las lecciones aprendidas del PLANCAD-GTZ-KfW. Nuevos lineamientos para la cooperacin tcnica del Ministerio Alemn de Cooperacin ( BMZ): la orientacin hacia los impactos. Inicialmente, desde un enfoque de inputs (insumos), la cooperacin tcnica era valorada ms por su calidad y eficiencia al ejecutarse la intervencin que por los impactos generados. Bajo este enfoque, el estricto seguimiento de la metodologa ZOOP y la matriz de planificacin de proyectos (MPP) era la manera clsica de monitorear los proyectos y de justificar ante el BMZ la responsabilidad asu-
En su primera oferta y antes de iniciarse el proceso de descentralizacin y darse los lineamientos para una orientacin hacia los impactos, la intervencin del programa consideraba cinco componentes: polticas magisteriales, formacin continua, gestin educativa, educacin bilinge intercultural y soporte conceptual y comunicaciones.
19
mida. Desde el 2003, cambi el nfasis en este enfoque y se empez a hablar de uno nuevo: el de los outputs (resultados). Segn este nuevo enfoque, no importa slo la calidad de la intervencin sino tambin el impacto generado. La metodologa ZOOP y la MPP, aunque importantes, no eran suficientes y se instaur como nuevo enfoque el de la orientacin hacia los impactos.
El contexto educativo en el Per: el proceso de descentralizacin. Iniciado en el 2002, signific para PROEDUCA-GTZ reestructurar y ampliar el nmero de contrapartes en concordancia con las nuevas normas vigentes. La descentralizacin tuvo una influencia directa en el eje vertical o niveles de intervencin del programa. Con su inicio se tuvo claro que dicha intervencin debera ajustarse para responder no slo a las demandas nacionales sino tambin regionales y locales, como finalmente qued definido.
La fusin de proyectos en un programa y la inclusin de la orientacin hacia los impactos han significado un verdadero cambio paradigmtico en cuanto a concepcin de un programa, lo cual, sumado a la coyuntura poltico-educativa del pas con el proceso de descentralizacin, ha generado a su vez:
Un cambio en la concepcin de gestin de los programas: se pas de una gestin centrada en la calidad de los resultados a una centrada en asegurar la generacin de impactos. Un cambio en la organizacin del programa: dado que se interviene en procesos sociales complejos y que el inters se centra en los impactos, se permiti mayor flexibilidad en la forma de organizar la cooperacin tcnica. Un cambio metodolgico: dej de ser obligatorio el uso de la matriz de planificacin de proyectos para adaptarse al uso de instrumentos que aseguren impacto, como las cadenas de impacto. Un cambio de mentalidad en las personas: se pretende que las personas del equipo GTZ y contrapartes no slo busquen calidad en las actividades que realicen sino que alcancen impactos, lo que requiere a su vez de una continua autoevaluacin. Un cambio en el sistema de monitoreo: se resignific el monitoreo de actividades y resultados y se pas a un enfoque nuevo y sistmico orientado hacia los impactos.
20
6 Lo expuesto no destaca tanto por el descubrimiento de una nueva forma de ver las intervenciones de los programas, sino ms bien por ser GTZ una de las principales agencias que ha llevado a la prctica lo que muchos sostienen tericamente. 7
Algunos autores hablan de impactos, efectos y resultados, indistintamente. Otros denominan impacto al efecto indirecto.
21
Sin embargo, de todos los posibles impactos que pudieran surgir, interesa el conjunto de impactos positivos y planificados que se espera alcanzar como consecuencia directa de la intervencin. Entonces cobra importancia la certeza de que la intervencin genere los cambios esperados. Ello exige un razonamiento de causas y efectos entre las actividades y productos de la intervencin y los impactos surgidos como consecuencia de su uso o utilizacin. Las cadenas de impacto, precisamente, son un instrumento que permite visualizar las hiptesis que se hallan detrs de un programa. Permiten analizar ms profundamente cules son los cambios que se espera generar a partir de las actividades, productos y servicios que brinda dicho programa. En general, las cadenas de impacto reflejan la siguiente lgica: el equipo GTZ y contrapartes desarrollan actividades que originan productos y servicios que son usados o aprovechados por las instituciones intermediarias con el objetivo de generar utilidades que beneficiarn al grupo meta. En la lgica de causas y efectos conviene diferenciar hasta tres niveles de cambio en las cadenas de impacto:
Uso o utilizacin 8 Es un primer nivel de impacto que refleja el aprovechamiento o el uso que hacen los actores de los productos o servicios que presta el programa. Ejemplo: los formadores del ISP ofrecen talleres a maestros en servicio sobre desempeo docente con enfoque intercultural.
Utilidad 9 Es un segundo y tercer nivel de impacto que alude a los cambios habidos como consecuencia del uso que hacen los actores de los servicios que presta la intervencin del programa. Implica cambios de mediano y largo plazo y se ubica en un nivel ms agregado. Ejemplo: los maestros en servicio incorporan la interculturalidad en el dictado de sus clases. De todas las utilidades generadas por el programa, el de mayor importancia es la denominada utilidad directa, que se expresa en el objetivo central del programa. Ejemplo: los maestros mejoran su desempeo en las escuelas.
8 9
22
Utilidad indirecta Son cambios a muy largo plazo y que no tienen una relacin causa-efecto directa, ni certera, con la intervencin debido a la influencia de mltiples factores ajenos al programa. Ejemplo: los alumnos mejoran su aprendizaje en las escuelas.
Utilidad agregada Es un tipo de utilidad indirecta que destaca por ser la contribucin proveniente de un programa para alcanzar un objetivo superior. Ejemplo: reduccin de la pobreza.
Cadena de impactos
Utilidad agregada
Reducir la pobreza
Utilidad agregada
Utilidad indirecta
B R E C H A D E AT R I B U C I N
Utilidad directa Maestros en servicio mejoran su desempeo
Utilizacin o uso
Formadores de ISP ofrecen talleres a maestros en servicio sobre desempeo docente con enfoque intercultural
Productos o servicios
Los responsables de ISP elaboran un programa de formacin en servicio sobre enfoque intercultural en el desempeo docente
Actividades
PROEDUCA-GTZ ejecuta taller para responsables de ISP sobre desempeo docente con enfoque intercultural
Se entiende que la intervencin de un programa incide ms en los impactos del primer nivel y que su fuerza se va diluyendo conforme se llega a los niveles superiores. Por ejemplo, segn el grfico, es mayor la probabilidad de ejercer impacto en el desempeo docente (utilidad directa) que en el aprendizaje escolar (utilidad indirecta), o, menor an, en la reduccin de la pobreza (utilidad agregada), aunque se supone que algn impacto debera producirse. Es a esta imposibilidad de atribuir causa y efecto a algunos impactos a lo que hace referencia el concepto de brecha de atribucin.
23
La brecha de atribucin puede ser entendida como el espacio donde los impactos no son directamente atribuibles a la intervencin de un programa, debido a la influencia de otros factores ajenos al control de dicha intervencin. Dado que debe existir certeza de influencia en el uso, la utilizacin y el objetivo del programa, se espera que no exista una brecha de atribucin en la cadena de impacto desde las actividades hasta la utilidad o impacto directo.
2.2 El monitoreo
PROEDUCA-GTZ entiende el monitoreo como una herramienta de gestin que permite
llegar peridica y sistemticamente a acuerdos sobre el progreso en una intervencin. No slo se remite a la observacin y procesamiento de informacin, sino a un continuo dilogo en la toma de decisiones y la accin a lo largo de la implementacin de un programa. Esto puede expresarse en la siguiente figura, basada en el trabajo de Vahlhaus y Kuby (2000):
Observar
Actuar
Decidir
Implementacin de un programa
Actuar
Decidir
Observar
Actuar
Se distinguen por lo menos tres tipos de monitoreo a travs de las cadenas de impacto: el de actividades, el de resultados y el de impactos. El primero est orientado a comparar la ejecucin con la planificacin de las actividades de un programa. El segundo responde a los logros que se alcanzan con la intervencin de un programa; hace un seguimiento de los productos y servicios que se obtienen a partir de las actividades del mismo. El tercero se centra en el seguimiento de los impactos a corto y largo plazo del programa, incluso cuando ya ha finalizado su intervencin. El monitoreo de impactos es la evaluacin misma de un programa10. La relacin entre estos diferentes niveles de monitoreo, las cadenas de impacto y la planificacin del programa se muestra en el siguiente grfico:
10 Cabe diferenciar el monitoreo de impacto del monitoreo orientado hacia los impactos; el primero es un rea del segundo.
24
Objetivo superior
Impacto superior
Impacto indirecto
Monitoreo de impactos
B R E C H A D E AT R I B U C I N
Objetivo del programa Impacto directo
Monitorero de resultados
Resultados
Productos y servicios
Monitoreo de actividades
Actividades
Actividades
25
de acuerdo con lo planificado, sino tambin en ver en qu medida el producto o servicio que se generan nos estn acercando a los impactos. Es un sistema porque exige la planificacin y elaboracin de un conjunto de indicadores, instrumentos, metodologas, responsabilidades y cronogramas que engloban otros tipos de monitoreo, con miras a orientar la intervencin para generar impactos. As, la tarea consiste en implementar un sistema de monitoreo que permita: Primero, crear espacios de reflexin en torno a las actividades y productos que el equipo ejecuta, es decir, una continua consideracin de para qu se llevan a cabo determinadas acciones. Aqu es importante guiarse por las cadenas de impacto, sopesar el sentido de las actividades planteadas en el POA, tener claro el diseo de las intervenciones y establecer metas y logros intermedios para trazar la orientacin hacia los impactos. Segundo, hacer un seguimiento de los indicadores del programa para saber en qu medida vamos alcanzando los impactos esperados. Dicho seguimiento incluye los impactos indirectos que quedan bajo la responsabilidad del propio programa. Es decir, la evaluacin, usualmente externa, pasa a ser parte del sistema de monitoreo.
hacia los impactos. No se sugiere seguir un orden estricto en los pasos sealados. 1 El primer paso consiste en definir los objetivos del monitoreo. La mayora de personas supone que el monitoreo es importante en la ejecucin de proyectos, pero no tiene claro para qu sirve o cmo puede utilizarse. La definicin de los objetivos del monitoreo permite tener una idea clara del fin que este persigue. Adems, se debe precisar quines se responsabilizarn del sistema, determinar las expectativas que tienen, el tipo de informacin requerida, los plazos, la calidad de la informacin, los recursos disponibles, entre otros aspectos. 2 El segundo paso es determinar las reas de impacto. Es decir, sealar qu impactos son relevantes para la consecucin de los objetivos. La mejor forma
26
de visualizar y definir las reas de impacto es recurriendo a las cadenas de impacto. Ocurre que muchas veces estas no existen o son poco elaboradas, sin que est claro cules son las relaciones de causa y efecto entre la intervencin y los objetivos del programa. Es cuando, ms que trabajar en un sistema de monitoreo, se tiene que trabajar en las cadenas de impacto como herramientas de planificacin. Al final de la tarea, es importante determinar con el equipo qu impactos son los que se espera monitorear. 3 En el tercer paso se deben definir los indicadores de impacto. Estos son los que nos permiten reconocer que se han alcanzado los objetivos del programa y de los componentes. Es posible que los indicadores de tales objetivos ya hayan sido trabajados durante la planificacin y solo requieran algunas precisiones. Tambin es importante definir los hitos o logros intermedios. Estos son indicadores que se encuentran por debajo de los de programa y componente, se sitan a nivel de resultados o utilizacin de productos y servicios y permiten dar cuenta de qu tanto nos acercamos a la consecucin de los objetivos. Los hitos o logros intermedios son ms necesarios cuando las cadenas de impacto son prolongadas y para alcanzar los objetivos de un programa se requiere crear previamente condiciones, productos o servicios. 4 Una vez formulados los indicadores, se procede a seleccionar los mtodos y se sealan los tiempos para la recoleccin de datos. En los casos en que existan fuentes con la informacin necesaria, no habr que construir instrumentos, escoger muestra, realizar trabajo de campo y procesar los datos. Sin embargo, la mayora de las veces es necesario llevar a cabo todo el proceso, ya sea directamente o a travs de consultoras con terceros. El primer recojo de informacin que se realiza al empezar el proyecto constituye la lnea de base del programa. Los instrumentos y metodologas de seguimiento para los indicadores de programa y de componente requieren informacin de tipo cuantitativo y estadstico, mientras que los hitos o logros intermedios requieren instrumentos que permitan recoger informacin de los procesos y condiciones necesarias en la consecucin de los objetivos de manera ms frecuente; y tiene una importancia sustancial la informacin de tipo cualitativo. 5 El anlisis de la informacin proveniente del sistema contribuye a una toma de decisiones fundamentada, a promover la reflexin respecto a la intervencin y a realizar ajustes tanto en la intervencin como en el sistema de monitoreo mismo. A pesar de su importancia, sin embargo es un paso que a veces se deja de lado. Un monitoreo sin retroalimentacin pierde el sentido y vuelve intiles los pasos previos. La toma de decisiones y la retroalimentacin
27
son importantes porque permiten sopesar la consecucin de los objetivos y hacer las correcciones pertinentes en los casos que lo requieran. Lo dicho en estos cinco pasos puede graficarse como sigue:
1
Anlisis y toma de decisiones
2 5 4
Seleccin de mtodos para recoger datos
28
3.1 Objetivos
El Sistema de Monitoreo Orientado hacia los Impactos del programa PROEDUCA ha trazado los siguientes objetivos de monitoreo:
Orientar la intervencin del programa hacia la generacin de impactos, programados con un control de posibles riesgos, a partir de la evaluacin sistemtica de los cambios generados con el uso de los productos y servicios del programa. Generar un sistema de informacin que permita la reflexin y toma de decisiones fundamentada en la gestin del programa hacia los impactos. Llegar peridica y sistemticamente a acuerdos sobre la ejecucin del trabajo, ajustando continuamente las actividades a la realidad de las regiones, a partir de los cambios deseados y no deseados que ocurren en las reas de intervencin y los cambios deseados que no se han logrado. Contribuir a la generacin de una cultura de monitoreo en los miembros y contrapartes del programa. Legitimar el modelo del programa como estrategia de intervencin frente a financiadores, contrapartes, socios y otras instituciones relacionadas con el mundo educativo.
3.2 Principios
El SMOI de PROEDUCA se apoya en los siguientes principios:
Oportunidad: el sistema provee informacin en momentos adecuados, lo cual permite que se pueda utilizar y sacarle provecho durante la implementacin.
29
Flexibilidad: el sistema se ajusta y adapta a las caractersticas complejas de la realidad del pas, su cultura y las polticas coyunturales, como el proceso de descentralizacin. Participacin: el sistema compromete la accin y responsabilidad compartida de los actores involucrados en la implementacin del programa. Continuidad: el recojo, procesamiento y difusin de la informacin se realizan de forma continua para que esta pueda ser utilizada en cualquier momento por los responsables de la toma de decisiones. Tiene incidencia tanto en la toma de decisiones como en los ajustes a la implementacin, dando as nuevamente inicio al proceso.
rea de impactos: donde se comprueba el alcance de los indicadores correspondientes a los componentes y el programa. rea de logros intermedios: donde se monitorean los hitos dentro de cada lnea de accin que se requieren para alcanzar los impactos en los componentes.
El monitoreo de la calidad de las actividades correspondientes a cada lnea de accin es ntegramente de responsabilidad de los coordinadores; no existen consignas en cuanto a tiempo ni metodologa, aunque s disponibilidad para brindar soporte tcnico en el diseo de indicadores, la elaboracin de instrumentos y el anlisis de datos. La unidad de monitoreo, aunque no realiza actividades en esta rea, alienta su ejecucin buscando institucionalizar en el equipo de PROEDUCA una cultura de monitoreo orientado hacia los impactos. Dicha unidad monitorea la orientacin hacia los impactos de la intervencin, mientras que el equipo de coordinadores monitorea la calidad de la intervencin.
11
30
Reduccin de pobreza
Impacto superior
Impacto indirecto
Monitoreo de impactos
B R E C H A D E AT R I B U C I N
Desempeo docente Impacto directo
Productos y servicios
Actividades
Actividades
Actividades
Actividades
Adems de las reas anteriores, PROEDUCA tambin monitorea otros dos aspectos:
rea de riesgos: donde se examinan las condiciones externas al programa que pueden interferir con el logro de los impactos. rea de efectos no esperados: donde se reportan cambios positivos o negativos suscitados como consecuencia del programa y que no estaban planificados.
rea de impactos
Segn la lgica de las cadenas de impacto de PROEDUCA, se pueden distinguir hasta tres tipos de indicadores para monitorear la orientacin hacia los impactos del programa: de componente, de programa y de nivel superior.
31
Cadena
Impacto superior
Objetivos
Reduccin de pobreza Aprendizaje del alumno
Indicadores
ndice de pobreza
Impacto inferior
1
Impacto directo Desempeo docente
Conocimiento de docentes Metodologa de docentes Satisfaccin de alumnos Interculturalidad en desempeo Participacin docente en gestin
2 3 4 5 6 7 8 9 10 12 13 14 15 16
Utilidades Uso
Polticas educativas
Gestin educativa
Formacin docente
Programas de formacin en servicio Satisfaccin formacin en servicio Interculturalidad en slabos Perfil de formadores Conocimiento de funciones ndice de gestin institucional Sistema de Formacin Continua Oportunidades de participacin Seguimiento del PER por COPARE Proyectos derivados del PER
Los indicadores de los objetivos de componentes 12 corresponden a los impactos esperados y positivos que se expresan en el uso o utilizacin de los servicios y productos del programa (primer nivel de impactos). PROEDUCA-GTZ cuenta actualmente con 10 indicadores a nivel de componente: 4 para el componente de formacin docente, 2 para el de gestin educativa y 4 para el de diseo de polticas educativas (ver anexo 3). Los indicadores de componente se evalan anualmente; si bien se espera su consecucin al finalizar cada fase, la informacin es recogida cada ao para evaluar el logro de los impactos esperados. Cada uno de indicadores sigue un procedimiento
12
Inicialmente, la oferta del programa comprenda 16 indicadores, pero en una evaluacin posterior se decidi fusionar los indicadores 11 y 12. Debido a la familiaridad con la enumeracin anterior, se decidi conservar los nmeros que se asignaron inicialmente.
32
independiente, tanto en el recojo de informacin como en el anlisis de datos. La informacin recogida es sintetizada en informes que luego son difundidos y discutidos con el equipo de trabajo (anexo 2). Los 10 indicadores correspondientes a los componentes pueden ser ubicados segn las lneas de accin que componen la matriz del programa. Es probable que un indicador incluya el trabajo en varias lneas de accin; esto se explica por la complejidad en la consecucin del mismo, el nmero de actores involucrados y las diversas lneas de accin en las que se debe intervenir.
10
Nacional
13 14 15 16
6
Regional
10 11
7 6
Local
14
Tratamiento de lenguas
16
8 9
Los indicadores del objetivo de programa corresponden a las utilidades producidas a partir del uso y aprovechamiento de los productos y servicios del mismo (segundo y tercer nivel de impactos) y que tienen como utilidad directa la mejora del desempeo docente en las escuelas.
PROEDUCA cuenta con 5 indicadores de impacto del programa (anexo 3). Con
fines de evaluacin de la intervencin, los indicadores de impacto correspondientes al objetivo del programa se establecen rigurosamente al inicio de la intervencin (ex ante) y al concluir el programa (ex post). No obstante, cada ao se discuten, sustentan y documentan indicios del progreso segn los indicadores del objetivo de programa.
33
1
Docentes desempean profesionalmente su labor educativa
2 3 4 5
6
Calidad tcnica de formacin docente
7 8 9
10 12
13
Formulacin participativa de polticas educativas
14 15 16
Respecto a los indicadores de nivel superior, aunque el programa no reporta lo relativo a utilidades indirectas que para PROEDUCA se expresan en la mejora del aprendizaje de los nios en las escuelas, s se hace seguimiento de los resultados que obtienen los estudiantes en las pruebas nacionales de rendimiento que aplica el Ministerio de Educacin. Ciertamente, el fin ltimo de intervenir en la mejora del desempeo docente es que los alumnos mejoren sus aprendizajes. Sin embargo, la brecha de atribucin entre la intervencin de PROEDUCA y el aprendizaje de los alumnos no es directa porque este se encuentra influenciado por diversos factores, como: clima familiar, desnutricin, condiciones laborales del docente, etc. Lo mismo ocurre con el objetivo superior de reduccin de la pobreza, contribucin que, por otro lado, espera realizarse a largo plazo. El conjunto de indicadores, instrumentos para recolectar informacin, fuentes y periodicidad del acopio son detallados en el siguiente cuadro:
34
Tipo de Indicador Tema relacionado al Indicador Acopio de Informacin ndice de pobreza Revisin datos
INEI UMC
Indicadores superiores
Aprendizaje de alumnos Revisin datos Pruebas Observacin Cuestionario Observacin Encuesta Ficha Encuesta Ficha Observacin Entrevista Cuestionario Entrevista Entrevista Entrevista Entrevista
Regional Regional Local Local Nacional, regional, local Local Nacional Nacional, regional, local Regional Regional Escuelas primaria y UMC
1 Conocimiento de docentes 2 Metodologa de docentes 3 Satisfaccin de alumnos 4 Interculturalidad en desempeo 5 Participacin docente en gestin 6 Programas de formacin en servicio 7 Satisfaccin formacin en servicio 8 Interculturalidad en slabos 9 Perfil de formadores 10 Conocimiento de funciones 12 ndice de gestin institucional 13 Sistema de Formacin Continua 14 Oportunidades de participacin 15 Seguimiento del PER por COPARE 16 Proyectos derivados del PER
2004 2009
35
rea de riesgos
Los riesgos son factores o situaciones externas al programa que pueden incidir negativamente en su marcha y en la consecucin de los objetivos e impactos programados. Todos los riesgos son registrados sistemticamente en las reuniones de coordinacin que tiene el equipo de trabajo, pero son reportados tres veces al ao. La idea es estar siempre atentos frente a sus alcances y, en lo posible, estar prevenidos ante una
13
36
posible amenaza a la implementacin del programa. Todos los riesgos calificados como riesgos medios son comunes a los diferentes componentes y niveles de intervencin. Aqu se han considerado los siguientes factores:
Rotacin de personal: hay un alto ndice de cambios del personal correspondiente a las instancias superiores de toma de decisiones en las distintas contrapartes. La alta rotacin afecta a todos los niveles de intervencin y detiene o retrasa los procesos en marcha, les quita liderazgo y exige invertir ms tiempo y recursos de los planificados. Ocurre ms frecuentemente en las regiones y localidades. Se analiza segn el nmero de cargos de directores locales y regionales en un ao. Politizacin de los cargos pblicos: el comportamiento de los funcionarios que ocupan puestos jerrquicos y toman decisiones muchas veces est guiado por consignas partidarias y no por las prioridades polticas del sector. El efecto del riesgo es el cambio arbitrario en la conduccin de la poltica educativa, lo que resta continuidad o retrasa los procesos en marcha, obliga a renegociar los convenios previos y a invertir tiempo y recursos en proteger o reencauzar la intervencin. Se analiza de acuerdo con la percepcin de los coordinadores del equipo. Vacos y superposicin de funciones: con respecto a la descentralizacin existe un marco normativo confuso, con algunas competencias y funciones que no son precisadas, ocasionando superposicin y conflicto entre la instancia nacional y las instancias regionales y locales. Los vacos no permiten tener un soporte legal slido para los objetivos que se vayan alcanzando. El riesgo se agrava por la existencia de conflictos partidarios e intereses polticos. El riesgo se presenta ms pronunciado en los niveles nacional y regional. Oposicin de gremios: en la medida en que buscan asegurar la estabilidad laboral de los docentes en servicio, los gremios se resisten a los procesos relacionados con la formacin en servicio y la evaluacin del desempeo docente y el aprendizaje de los alumnos. Su impacto es notorio en el mbito regional. Falta de presupuesto: dado que aproximadamente el 80% del presupuesto regional se encuentra comprometido con gastos fijos, principalmente el pago de planillas, resta poco margen para la implementacin de programas sociales en las regiones; esto, sumado a los formatos rgidos del Sistema Nacional de Inversin Pblica (SNIP), dificulta el acceso a los pocos recursos existentes para la inversin pblica en educacin. Coyuntura electoral: las elecciones del 2006, tanto presidenciales como regionales, han instado a algunas autoridades que toman las decisiones a comportarse segn criterios partidarios y proselitistas, restndole prioridad al trabajo educativo o teniendo un objetivo utilitario de corto plazo.
37
En la prctica, los riesgos son monitoreados cada 15 das en las reuniones del equipo tcnico14. Si el riesgo adquiriera mayor poder o influencia, se procedera a una evaluacin extraordinaria, aun cuando hasta el momento tal situacin no ha llegado a ocurrir. Finalmente, como sucede con los logros intermedios y los efectos no esperados, la informacin se consolida cada cuatro meses en un boletn.
Docente desempean profesionalmente su labor educativa
Nacional
de to ta Fal pues u s e pr
Regional
Local
Tratamiento de lenguas
14
El registro es parte de la ficha-informe que se usa para las reuniones tcnicas (anexo 1).
38
39
siempre con el apoyo tcnico de la unidad de monitoreo. Esto se detalla en el cuadro siguiente:
Indicadores de observacin 1, 2, 3, 4, 5 10, 13, 14 6, 7, 10, 14, 15, 16 8, 9, 10, 12, 14 Logros intermedios Riesgos Responsable de recojo de informacin M&E Coord. del nivel nacional Coord. del nivel regional Responsable de procesamiento e informe
M&E
Coord. del nivel local Coord. nacional, regional, local Coord. nacional, regional, local
ENE Reporte de logros intermedios Reporte de riesgos Reporte efectos no esperados Recojo informacin indicadores comp. Taller PROEDUCA Taller contraparte Informe BMZ
FEB
MAR
ABR
MAY
JUN
JUL
AGO
SET
OCT
NOV
DIC
X X X
X X X X
X X X X X X X
40
Como reporte sobre impactos y herramienta de gestin del programa, es de utilidad para la direccin de PROEDUCA-GTZ, los coordinadores del equipo y las contrapartes. Como reporte de impactos que buscan una legitimacin, sirve para el Ministerio de Desarrollo Alemn, la GTZ central y el Ministerio de Educacin peruano. Como reporte de difusin de alcances del programa, puede ser aprovechado por otros organismos de cooperacin bilateral y multilateral, al igual que por organizaciones vinculadas al campo educativo.
El SMOI y el e- VAL
El e-VAL (del alemn, elektronische Evaluierung) es una metodologa cualitativa que permite analizar si el programa se enfoca hacia los objetivos, detectar sus impactos indirectos y describir la percepcin que tienen las contrapartes de l. PROEDUCA utiliza la informacin brindada por el e-VAL para complementar y contrastar la informacin recogida a travs del SMOI.
41
42
43
al cambio, sobre todo cuando una corriente de percepcin interpretaba el nuevo paradigma como ms de lo mismo, o cuando mucho de lo nuevo que se discuta no contaba con definiciones o metodologas claras. Creemos que an no existe una versin definitiva de cmo se va estructurando este nuevo paradigma en el aspecto conceptual y metodolgico. Cmo deben trabajarse las cadenas?, se construyen desde los objetivos de componente o desde las actividades mismas?, cmo orientar las actividades hacia los impactos?, es realmente un sistema de monitoreo?, qu es un impacto?, qu es la brecha de atribucin? Entre otras, son preguntas que nos planteamos luego de revisar experiencias de otros programas, y de encontrar respuestas que pueden variar sutil o sustancialmente unas de otras. En esa lnea, PROEDUCA-GTZ busca propiciar con el SMOI el debate y la precisin de algunos conceptos.
44
45
Un primer aspecto que cabe destacar es que los indicadores deben establecerse con relacin al impacto y no a los productos y servicios; solo as estaramos hablando de indicadores orientados hacia los impactos. Dicha afirmacin implica, por un lado, que los indicadores se siten partiendo del objetivo de componente y, por otro lado, que no slo remitan a lo que se espera en el objetivo, sino a las utilidades derivadas del hecho de alcanzarlo; por ejemplo, si el objetivo es mejorar la gestin educativa, no (slo) debera haber indicadores que reflejen dicha mejora, sino tambin las utilidades que pudiera generar tal objetivo.
46
de funcionarios centralistas y de posicin jerrquica. Esperamos que la orientacin hacia los impactos permita resignificar el sentido del monitoreo y contribuir a crear una cultura afn. Un aspecto importante en dicha cultura es la necesidad de que las personas involucradas aprueben, difundan, se apropien de y se responsabilicen por el modelo del sistema de monitoreo orientado hacia los impactos. La existencia de un documento que fundamente y explique este sistema, junto con las responsabilidades y el tipo de informacin requerida, sumados al apoyo de la direccin y coordinacin del programa son elementos que apuntan a esta apropiacin del SMOI. La idea es que este finalmente sea asumido como una responsabilidad que cuente con la participacin y el respaldo de todos.
47
48
Glosario
El siguiente glosario ha sido organizado en funcin de tres reas temticas: planificacin de programa, cadenas de impacto y monitoreo y evaluacin.
Planificacin de programa
Componente. Campo temtico de un programa que se desprende de la cadena de impacto y tiene como objetivo producir un impacto estratgico temporalmente previo al objetivo del programa. Contraparte. De acuerdo con la GTZ, las contrapartes son las organizaciones del pas contraparte que planifican y ejecutan un proyecto o programa. Las organizaciones contraparte son los clientes del asesoramiento y los receptores de las prestaciones de la GTZ. Debe diferenciarse entre dichas organizaciones y los beneficiarios del programa o grupo meta. Eje transversal. Enfoque estratgico que se busca incluir en todos los niveles y componentes de un programa debido a su relevancia como problema a escala mundial, independientemente del tipo de intervencin que se realice. Son enfoques transversales de la GTZ: gnero, VIH/sida, medio ambiente, participacin y resolucin de conflictos. Son enfoques transversales priorizados por PROEDUCA: gnero, participacin, VIH/sida e interculturalidad. Grupo meta. Tambin llamado grupo beneficiario o grupo objetivo, es el conjunto de personas o instituciones que se benefician directamente de un programa, y motivo por el cual se desarrolla una intervencin. Desde el punto de vista de las instituciones donantes, las organizaciones contraparte actan como intermediarias entre ellas y las personas de los pases contraparte que se pretende beneficiar con la cooperacin tcnica. Indicador. Medida en trminos cuantitativos, cualitativos y cronolgicos que muestra evidencia fiable y observable del grado de impacto que est siendo alcanzado. Permite ver el progreso hacia la consecucin de los objetivos. Lnea de accin. Conjunto de actividades, servicios, productos e impactos relacionados entre s y referidos a un determinado actor, nivel y componente. Logro intermedio. Impactos a corto plazo necesarios para alcanzar los objetivos de componente y de programa. Se refiere a los productos, servicios y condiciones que deben existir para desatar impactos.
49
Riesgo. Factor externo que escapa a la influencia del proyecto, pero que s puede tener una incidencia significativa en la cadena de impactos, lo cual exige su observacin.
Cadenas de impacto
Actividad. Acciones desarrolladas por un programa para obtener un producto o servicio. Brecha de atribucin. Espacio donde los impactos no pueden ser directamente atribuibles a la intervencin de un programa debido a la influencia de factores ajenos a su control. Cadena de impacto. Herramienta que permite ver relaciones de causa y efecto en la intervencin de un programa. Cambio. Trmino genrico que significa transformacin. De manera general, todo produce cambios y, por lo tanto, estos pueden ser intencionales, no intencionales, esperados, inesperados, positivos o negativos. Pueden provenir de la intervencin o de factores externos a ella. Efecto. Sinnimo de impacto. Para algunos es un cambio debido a la intervencin pero que, a diferencia del impacto, no tiene un carcter de intencionalidad. Impacto. Tiene hasta tres definiciones: (i) tipo de cambio esperado e intencional que est en estrecho vnculo con la intervencin; son cambios que se pueden atribuir a sta de manera intencional e incluyen los productos, servicios, usos y la utilidad directa, indirecta y agregada; concepto similar a lo que algunos autores llaman resultado. (ii) Cambio atribuible a un programa de caracterstica intencional, no intencional, positiva o negativa; concepto ms amplio similar al de cambio. (iii) Cambio indirecto, utilidad agregada o efecto indirecto que se encuentran ms all de la brecha de atribucin; concepto ms restringido que los dos anteriores. Producto. Se refiere a lo tangiblemente obtenido luego de una o ms actividades realizadas por un programa. Alude ms a la finalizacin de las actividades que a su realizacin o generacin. Los productos y servicios son tambin llamados resultados. Resultado. Tiene al menos dos definiciones: (i) productos y servicios que sern posteriormente usados por las contrapartes; (ii) trmino amplio que abarca todo cambio producido por la intervencin de un programa, incluyendo productos, efectos e impactos. Esta perspectiva correspondera a lo que otros autores llaman impacto. El paralelo entre resultado e impacto se presenta en el siguiente cuadro:
50
Resultados
Cadena de resultados Resultados Vaco de atribucin Aprovechamiento Impacto
Impactos
Cadenas de impactos Impactos Brecha de atribucin Uso/utilidad Utilidad agregada
Vaco de atribucin. Trmino usado por algunos autores para referirse a la brecha de atribucin.
Monitoreo y evaluacin
Evaluacin. Valoracin sistemtica y rigurosa que se realiza para medir el logro de los objetivos de un programa. Generalmente la evaluacin busca medir los impactos de un programa, responder a qu se ha logrado o qu tanto se ha logrado. Usualmente se realizaba por instituciones externas, sin embargo, bajo el modelo del SMOI conforma parte de reas del monitoreo de un programa. Ex ante. Evaluacin que se hace antes de la intervencin de un programa y constituye la lnea de base del mismo. Tambin se le conoce como pre-test o prueba preliminar. Ex post. Evaluacin que se realiza luego de finalizada la intervencin para comparar con la evaluacin ex ante y demostrar de manera cuantificable los logros e impactos de una intervencin. Tambin llamada post-test o prueba posterior, aunque algunos autores la sealan como una evaluacin aun ulterior en el tiempo al trmino de la intervencin. Lnea de base. Evaluacin que se realiza antes o al inicio de un programa con la finalidad de tener una medida de comparacin cuando termine una fase o el programa mismo. La lnea de base describe el punto de partida de una determinada situacin que ser intervenida con un programa. Monitoreo. Proceso continuo de observacin, anlisis y toma de decisiones que permite llegar peridica y sistemticamente a acuerdos sobre los avances en la implementacin de una intervencin. A diferencia de la evaluacin, el monitoreo es una herramienta de gestin que se aplica a lo largo de toda la intervencin, mientras que la evaluacin representa un corte de tiempo en un momento determinado de la intervencin.
51
Monitoreo
Foco en procesos Usualmente interno Continuo Usualmente durante intervencin
Evaluacin
Foco en logros Usualmente externa Espordica Usualmente al inicio y fin de intervencin
Monitoreo de actividades. Procesos de comprobacin que tienen como objetivo seguir el cumplimiento de lo ejecutado en concordancia con lo planificado. Segn el modelo del SMOI, es un componente que puede ser prescindible o estar bajo responsabilidad de los propios ejecutores. Monitoreo de impactos. Seguimiento de los cambios ocurridos debido a la intervencin de un programa. Para algunos, coincide con la definicin de evaluacin. Actualmente, constituye un rea importante del SMOI. Monitoreo orientado hacia los impactos (SMOI ). Modelo de comprobacin que establece indicadores, instrumentos y responsabilidades para orientar la intervencin del programa hacia el logro de los impactos. Incluye el monitoreo de actividades, resultados e impactos.
52
Siglas
ACDI AECI AURA BMZ CNE COPARE CT DINFOCAD DNC DRE EIB e-VAL FD FC GR GTZ ISP IFD MED M&E MPP PDRS PEI PER PLANCAD POA PROFODEBI PROFOGED Agencia Canadiense para el Desarrollo Internacional Agencia Espaola de Cooperacin Internacional Auftragsrahmen - Marco de encargo Ministerio de Cooperacin Econmica y Desarrollo Consejo Nacional de Educacin Consejo Participativo Regional Cooperacin tcnica Direccin de Formacin y Capacitacin Docente Diagnstico de Necesidades de Capacitacin Direccin Regional de Educacin Educacin Intercultural Bilinge Elektronische Evaluierung - Evaluacin electrnica Formacin docente Formacin continua Gobierno regional Gesellshaft fr Technische Zusammenarbeit - Cooperacin tcnica alemana Instituto superior pedaggico Instituto de formacin docente Ministerio de Educacin Monitoreo y evaluacin Matriz de Planificacin de Proyectos Proyecto de Desarrollo Rural Sostenible de GTZ-Per Proyecto Educativo Institucional Proyecto Educativo Regional Plan de Capacitacin Docente Programa Operativo Anual Programa de Formacin Docente en Educacin Bilinge Intercultural Programa de Formacin en Gestin Educativa
53
Programa de Formacin Magisterial Sistema de Formacin Continua Sistema de Monitoreo Orientado hacia los Impactos Sistema de Monitoreo de Portafolio Sistema Nacional de Inversin Pblica Sindicato Unitario de Trabajadores de la Educacin del Per United Nations Educational, Scientific and Cultural Organization Organizacin de las Naciones Unidas para la Educacin, la Ciencia y la Cultura Unidad de Medicin de la Calidad Educativa del MED United States Agency for Internacional Development - Agencia de los Estados Unidos para el Desarrollo Internacional Zielorientierte Projekt-Planung - Planificacin de Proyectos Orientada a Objetivos
54
Bibliografa
AGENCIA CANADIENSE PARA EL DESARROLLO INTERNACIONAL (ACDI) (2000). Results-Based Management Handbook on Developing Results Chain. En lnea: <http://www.acdicida.gc.ca>. AGENCIA DANESA PARA EL DESARROLLO INTERNACIONAL (DANIDA) (1999). Evaluation Guidelines. Ministry of Foreign Affairs. En lnea: <http://www.um.dk>. AGENCIA ESPAOLA DE COOPERACIN INTERNACIONAL (AECI) (2001). Metodologa de la evaluacin de la Cooperacin Espaola (AECI). En lnea: <http://www.maec.es>. AGENCIA SUIZA PARA EL DESARROLLO Y LA COOPERACIN (COSUDE) (1999). Indicadores y preguntas claves. Serie de cuadernos temticos sobre planificacin, evaluacin, monitoreo y aplicacin. Berna: COSUDE. En lnea: <http://www.deza.ch>.. (2000). Evaluacin externa - Hacemos lo correcto? Lo hacemos correctamente? Serie de instrumentos de trabajo para planificacin, evaluacin, monitoreo, y aplicacin (PEMA). Berna: COSUDE. En lnea: <http://www.deza.ch>. BANCO MUNDIAL (2004). Seguimiento y evaluacin. Instrumentos, mtodos y enfoques. En lnea: <http://www.bancomundial.org>. BERGMANN, Herbert (2003). Monitoring Handbook. Documento interno. (2005). Basic Education Improvement Programme of Yemen (BEIP-GTZ). Documento interno. CASTRO, Marco (2003). Sistema de Monitoreo de Impacto del Programa FORTALECE GTZ/ MINEC. Documento indito. CENTRO AGRONMICO TROPICAL DE INVESTIGACIN Y ENSEANZA (CATIE) (2003). Diseo e implementacin de un programa de monitoreo. Seccin 2: La gua de monitoreo ecolgico. En lnea: <http://www.catie.ac.cr>. CUBA, Vctor (2002). Diseo de proyectos y programas sociales. Una mirada estratgica. Lima: GTZ. CUENCA , Ricardo y CARRILLO, Sandra (2001). El sistema de monitoreo y evaluacin del PLANCAD. Lima: PLANCAD-GTZ-KfW. DEPARTAMENTO DE DESARROLLO INTERNACIONAL (DFID) (2005). Guidance on Evaluation and Review for DFID staff. En lnea: <http://www.dfid.gov.uk>. FIDAMERICA (s/f). Gua FIDA para el seguimiento y evaluacin de proyectos. Gestin orientada al impacto en el desarrollo rural . Vol. 1, secciones 1-8. En lnea: <http:// www.fidamerica.cl>.
55
GERMAN, Elizabeth; LOZANO, Ruth y SANZ, Pilar (2002). Plan de monitoreo y evaluacin en la formacin docente en educacin bilinge intercultural. Documento de trabajo 22. Lima: PROFODEBI-GTZ. GERMANN, Dorsi y GOHL,Eberhard. Monitoreo participativo de impacto. Folleto 2, Monitoreo de impactos a travs de la ONG. Eschborn: GATE-GTZ-FAKT. GTZ (1998). El seguimiento en los proyectos de cooperacin tcnica. Unidad 4: Estrategia de Desarrollo de la Empresa. Eschborn: GTZ. (2004). El mundo de los conceptos de la GTZ. En lnea: <http://www.gtz.de>. (2004). Monitoreo basado en resultados. Gua para los proyectos y programas de cooperacin tcnica. Eschborn: GTZ. HERWEG, Karl y STEINER, Kurt (2002). Monitoreo y valoracin del impacto. Instrumentos a usar en proyectos de desarrollo rural con un enfoque en el manejo sostenible de la tierra. Vol. 1: Procedimiento. Eschborn: CDMZ y GTZ. MANAGEMENT FOR DEVELOPMENT FOUNDATION (1993). Manual de gestin. El ciclo de un proyecto. Enfoque integrado y marco lgico. Serie Mtodos e Instrumentos para la Gestin del Ciclo de un Proyecto. Bosrand: Comisin de las Comunidades Europeas. MINISTERIO DE EDUCACIN (2004). Cifras de la educacin 1998-2003. Lima: Unidad de Estadstica Educativa, Secretara de Planificacin Estratgica. (2005). Indicadores de la educacin. Per 2004. Lima: Unidad de Estadstica Educativa, Secretara de Planificacin Estratgica. (2006). Perfiles educativos regionales. Principales indicadores para el seguimiento de Proyectos Educativos Regionales. Lima: Unidad de Estadstica Educativa, Unidad de Medicin de la Calidad Educativa, Aprendes, USAID-Per, Academy for Educational Development. NAVARRO, Hugo (2005). Manual para la evaluacin de impactos de proyectos y programas de lucha contra la pobreza. Santiago de Chile: ILPES-CEPAL. NELL, M. y SHAPIRO, J. (2001). Impact Monitoring: Tools, Instruments and Methods. The Technical Network for Economic Development and Employment Promotion. Sandton, Sudfrica: GTZ. PODGURSKI, Petra (2002). Apoyo a la creacin de un sistema de monitoreo. San SalvadorEschborn: FORTALECE-GTZ. PROGRAMA DE LAS NACIONES UNIDAS PARA EL DESARROLLO (PNUD) (2002). Manual de seguimiento y evaluacin de resultados. En lnea: <http://www.undp.org>. PROGRAMA DESARROLLO RURAL SOSTENIBLE (PDRS) (2004). SMOI. Responsabilidad de todos. Gua para el Sistema de Monitoreo Orientado hacia Impactos en el Programa Desarrollo Rural Sostenible (PDRS). Documento interno. Lima: PDRS/GTZ.
56
RAWLINGS , Laura (2004). Diseo y objetivos de la evaluacin de impacto. Segundo taller internacional de programas de transferencias. Sao Paulo: Banco Mundial. En lnea: <http://www1.worldbank.org>. VAHLHAUS, Martina (2000) Marco de orientacin para el monitoreo de impacto en proyectos de fomento de la economa y del empleo con especial consideracin del impacto en la reduccin de la pobreza. Parte I: Por qu es necesario el monitoreo de impacto? Un Instrumento orientador. Eschborn: GTZ. VALHAUS, M. y KUBY, T. (2000). Marco de orientacin para el monitoreo de impacto en proyectos de fomento de la economa y del empleo con especial consideracin del impacto en la reduccin de la pobreza. Parte II: Cmo introducimos y ejecutamos el monitoreo del impacto? Indicaciones, mtodos e instrumentos para la implementacin y ejecucin. Eschborn: GTZ.
57
58
Anexos
1. Ficha-informe 2. Reporte de indicadores 3. Indicadores del programa y componentes
59
60
Anexo 1
2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal
Registre de acuerdo a la lnea de accin y regin que ha trabajado en los siguientes aspectos: 1) Anote las actividades, servicios y productos desarrollados. 2) Anote, logros e impactos alcanzados. 3) Registre dificultades encontradas. 4) Anote si alguna actividad o enfoque de gnero e intercultural ha sido aplicado. Si no existe nada que reportar en 2, 3 y 4, anote el nmero seguido de NR.
Cmo evala el alcance de los siguientes logros intermedios e impactos? Marque para cada tem y regin segn la escala siguiente: 10 20 30 40 50 60 70 80 90
100
Huancavelica Logro intermedio 1 Logro intermedio 2 Logro intermedio 3 Logro intermedio 4 Logro intermedio 5 Logro intermedio 6 Logro intermedio n
Madre de Dios
Piura
Lambayeque
EFECTOS NO ESPERADOS:
1) S 2) No
INDICADOR 6:
COMPONENTE OBJETIVO DE COMPONENTE
Anexo 2
Oferta de Programas de Formacin en Servicio segn Diagnstico de Necesidades y Demandas de Capacitacin
I. Calidad tcnica y de contenidos en la Formacin y Capacitacin Docente Las instituciones y entidades estatales vinculadas a la formacin docente mejoran la calidad de la formacin docente, inicial y en servicio, a nivel nacional, regional y local Porcentaje de programas de formacin en servicio para el nivel primario ofertados por las DRE, UGEL e IFD que responden en sus objetivos, lneas estratgicas y desarrollo de contenidos a por lo menos tres prioridades temticas identificadas en el Diagnstico de Necesidades y Demandas de capacitacin realizado en cada regin
INDICADOR
NIVEL
Regional
LNEA DE ACCIN
Desarrollo de capacidades de instancias descentralizadas; Desarrollo Institucional de Instituciones Pedaggicas 1. Poblacin: Direccin Regional de Educacin (DRE). La informacin fue proporcionada por funcionarios de esta instancia. 2. Instrumentos: Encuesta 3. Muestra: No aplica
4. Tamao de muestra: No aplica 5. Margen de error: No aplica 6. reas de anlisis: I. II. Diagnstico de necesidades y demandas de capacitacin Oferta de programas de formacin en servicio
EJECUTORES
APLICACIN
COSTO APROX.
VALOR 2004
A octubre del 2004, los programas de formacin en servicio regulados por la DRE no responden a prioridades temticas identificadas en el diagnstico de necesidades y demandas de capacitacin realizado en cada regin dado que este no existe.
Anexo 3
Indicadores del Programa PROEDUCA
Objetivo de programa: Los docentes en servicio desempean profesionalmente su labor educativa en escuelas primarias de 4 regiones del Per. 1. Incremento de docentes muestran dominio de contenidos disciplinares de la educacin bsica en Comunicacin Integral y Matemtica. 2. Incremento de docentes que usan distintos mtodos y tcnicas de enseanza de acuerdo a las caractersticas de alumnos y a las metas de aprendizaje. 3. Incremento de alumnos satisfechos respecto al clima del aula, mtodos de enseanza y manejo de aspectos interculturales por parte de los docentes. 4. Incremento de docentes que muestran competencias interculturales en su desempeo de aula. 5. Incremento de docentes participan en la toma de decisiones sobre el diseo e implementacin del PEI. Objetivo de Componente 1: Las instituciones y entidades estatales dedicadas a la formacin de docentes mejoran la calidad de la formacin docente, inicial y en servicio, a nivel nacional, regional y local. 6. Porcentaje de programas de formacin en servicio que consideran objetivos, lneas estratgicas y desarrollo de contenidos que responden a por lo menos 3 prioridades temticas identificadas en DNC realizada en cada regin. 7. Satisfaccin de participantes de los programas de formacin para docentes en servicio que aumenta en relacin a la oferta de cursos y las condiciones de aprendizaje. 8. Porcentaje de los formadores de las IFD que responden a los criterios mnimos exigibles de un perfil profesional tcnico-pedaggico diseado para caracterizar su desempeo. 9. Porcentaje de los slabos que muestra incremento en el tratamiento de temas interculturales en los objetivos, estrategias y contenidos de los cursos. Objetivo de Componente 2: Las instituciones y entidades estatales vinculadas a la formacin docente mejoran su gestin, a nivel nacional, regional y local. 10. Porcentaje de los funcionarios vinculados a la FD de las instituciones a nivel nacional, regional y local que tienen conocimiento de sus nuevas funciones y tareas definidas por ley en el marco del proceso de descentralizacin. 11. Porcentaje de los ISP logran los indicadores mnimos exigibles de gestin. Objetivo de Componente 3: La conceptualizacin e implementacin de polticas para la formacin docente se realiza participativamente considerando la diversidad socio cultural, entre las instituciones y entidades estatales y la sociedad civil, a nivel nacional, regional y local. 13. 14. 15. 16. DINFOCAD cuenta con un documento de lineamientos de poltica para la implementacin del SFC que ha sido elaborado en consulta con actores claves de los niveles regional y local. Actores claves de los niveles nacional, regional y local tienen una percepcin positiva sobre las oportunidades de participacin en el diseo de polticas de formacin docente El Consejo Participativo Regional (COPARE) ha emitido oportunamente y segn los estndares legales requeridos informes o pronunciamientos que dan cuenta del seguimiento al PER. En cada una de las cuatro regiones por lo menos un proyecto derivado del PER e implementado por las entidades regionales responsables presenta en sus objetivos el desarrollo de un elemento de las tres caractersticas interculturales. En la implementacin de cada proyecto, la diferencia entre lo planificado y lo realizado no sobrepasa el treinta por ciento.
SE
T A R E A A S O C I A C I N G R F I C A E D U C AT I VA P ASAJE M ARA A UXILIADORA 156, B REA Correo e.: tareagrafica@terra.com.pe TELF. 424-8104 / 332-3229 FAX 424-1582 SETIEMBRE 2006 - LIMA, PER