Вы находитесь на странице: 1из 67

PROEDUCA-GTZ

Alex Ros Pilar Sanz

SMOI:

EL SISTEMA DE MONITOREO ORIENTADO HACIA LOS IMPACTOS DE PROEDUCA-GTZ

Setiembre 2006

S M O I: El Sistema de Monitoreo Orientado hacia los Impactos de PROEDUCA-GTZ Programa de Educacin Bsica de la Cooperacin Alemana al Desarrollo PROEDUCA-GTZ Casilla Postal 1335, Lima 18, Per postmaster@proeduca-gtz.org.pe www.proeduca-gtz.org.pe Responsable de publicaciones: SANDRA CARRILLO LUNA

Asistencia editorial: OLGA MEJA BECERRA Diagramacin e impresin: Tarea Asociacin Grfica Educativa Impreso en el Per Primera edicin, setiembre de 2006 Tiraje: 500 ejemplares Hecho el depsito legal en la Biblioteca Nacional del Per, registro 2006-8059

Todos los derechos estn reservados. Se permite la reproduccin parcial no comercial de este texto siempre y cuando se indique la fuente y se cuente con el permiso expreso de los editores.

Contenido
Monitoreando nuestro monitoreo. A modo de presentacin Introduccin 1. El Programa de Educacin Bsica PROEDUCA-GTZ 1.1 Objetivo del programa 1.2 Componentes 1.3 Niveles de intervencin 1.4 Ejes transversales 1.5 Lneas de accin 1.6 Actores 1.7 PROEDUCA a travs del tiempo 2. El monitoreo orientado hacia los impactos 2.1 Las cadenas de impacto 2.2 El monitoreo 2.3 El Sistema de Monitoreo Orientado hacia los Impactos (SMOI) 2.4 Pasos para disear un SMOI 3. El SMOI de PROEDUCA: organizacin e implementacin 3.1 Objetivos 3.2 Principios 3.3 Organizacin 3.4 Implementacin 3.5 El SMOI de PROEDUCA y otros sistemas de monitoreo 4. Reflexiones finales y lecciones aprendidas Glosario Siglas Bibliografa Anexos 5 7 9 9 9 11 12 13 15 18 21 21 24 25 26 29 29 29 30 39 41 43 49 53 55 59

Monitoreando nuestro monitoreo. A modo de presentacin


Desde 1996 la GTZ acompaa ininterrumpidamente los procesos educativos puestos en marcha por el Estado peruano. Durante estos casi 10 aos hemos tenido muchas coincidencias con las decisiones tomadas y tambin algunos desacuerdos. Esto ha sido producto de nuestra propia reflexin y nuestro innegable compromiso con la mejora de la educacin del pas. Pero ha sido producto tambin de la informacin recogida a travs de las acciones de monitoreo que cada uno de los proyectos del programa ha entregado constantemente. Y es que para la GTZ y para el equipo contar con esa informacin ha sido valioso y necesario. La publicacin que presentamos a continuacin tiene, a nuestro entender, un valor especial. En primer lugar y tal como lo mencionan Alex Ros y Pilar Sanz, quiere ser un aporte al programa y tambin un aporte a otros programas, de la propia GTZ, de otros organismos de cooperacin y de otras instituciones. Un segundo valor es que complementa el ciclo de aprendizaje sobre el monitoreo en la propia GTZ y sus proyectos y programas. Este ciclo se inici con el registro de los sistemas y acciones de monitoreo de los proyectos PLANCAD-GTZ-KfW, PROFORMA y PROFODEBI, publicado en aos anteriores. Finalmente, y no por ello menos importante, este documento registra un proceso de aprendizaje que incluye las necesarias preguntas para el futuro. Quienes fuimos formados en la paradigmtica metodologa de planificacin de proyectos orientada a objetivos el mtodo ZOPP (Zielorientierte Projekt-Planung) y vimos cmo se fue transformando a lo largo del tiempo la MPP (matriz de planificacin de proyectos) nos hemos tenido que enfrentar a un proceso educativo complicado. Hemos tenido que desaprender para aprender que la planificacin se orienta hacia los impactos y el monitoreo debe dejar de ser neutral para convertirse en juicios de valor sobre todo lo actuado. Desde PROEDUCA-GTZ queremos compartir este proceso de aprendizaje, nuestras lecciones aprendidas sobre el diseo y la puesta en marcha de nuestro sistema de monitoreo y nuestra certeza sobre la importancia que tiene monitorearnos permanentemente.

Lima, setiembre de 2006

Introduccin
En los ltimos aos ha sido creciente la necesidad de asegurar los impactos generados por los proyectos y programas sociales que se desarrollan en el pas. De all tambin la mayor relevancia de implementar sistemas de monitoreo que faciliten el alcance de estos impactos. En PROEDUCA-GTZ, el Programa de Educacin Bsica coordinado por la Deutsche Gesellschaft fr Technische Zusammenarbeit (GTZ) y el Ministerio de Educacin, hemos asumido el reto de elaborar e implementar un Sistema de Monitoreo Orientado hacia los Impactos (SMOI) que el presente documento describe, para que pueda servir de gua y material de consulta al personal que viene trabajando en el programa y a quienes se incorporen a l ms adelante. La tarea de elaborar un sistema de monitoreo orientado hacia los impactos no ha sido fcil. Aun cuando no la concebimos terminada, estamos convencidos de que es el momento de socializarla y ponerla en marcha como sistema. Creemos que es adems una manera de contribuir a la gestin del conocimiento, tanto con relacin a las contrapartes y socios del programa como a otros proyectos, programas, evaluadores y personas interesadas en imprimir a las actividades de monitoreo una orientacin hacia los impactos. El documento ha sido estructurado en cuatro secciones claramente definidas. En la primera se describe brevemente el programa: objetivos, componentes, niveles, lneas de accin, ejes transversales y actores son presentados para tener una idea global de lo que se busca alcanzar con la intervencin de PROEDUCA-GTZ. La seccin cierra con un resumen de cmo el programa ha evolucionado a travs del tiempo bajo la influencia de un nuevo paradigma: el de la orientacin hacia los impactos. En la segunda seccin se exponen aspectos conceptuales propios del monitoreo orientado hacia los impactos. Se explican y detallan trminos como: impactos, cadena de impactos, brecha de atribucin y sistema de monitoreo. Adems, se describen los pasos que se deben seguir en la elaboracin de un sistema de monitoreo. La tercera seccin explica cmo es el Sistema de Monitoreo Orientado hacia los Impactos que ha desarrollado PROEDUCA-GTZ. Se expone cada una de las reas de observacin que componen el sistema y se detallan las herramientas y procedimientos utilizados para monitorear la intervencin hacia los impactos; tambin se indica a los responsables y el cronograma de actividades establecido durante su ejecucin. La ltima seccin hace un cierre presentando algunas reflexiones y lecciones aprendidas durante la elaboracin y ejecucin del sistema. Tambin se recogen la experiencia recibida desde otros programas y la opinin de expertos sobre el tema.

Expresamos nuestro agradecimiento a todos los que contribuyeron con sus comentarios a una parte o a todo el documento, principalmente a Ulrike Wissler, Roland Baecker, Ricardo Cuenca, Ana Isabel Moreno, Irene Blanco, Ana Mara Pinedo, Patricia Andrade, Sandra Carrillo, Iris Ahr, Jessica OHara, Isabel Flores y Luis Miguel Saravia.

1. El Programa de Educacin Bsica PROEDUCA - GTZ


PROEDUCA-GTZ es el Programa de Educacin Bsica de la Deutsche Gesellschaft fr

Technische Zusammenarbeit (GTZ) GmbH y el Ministerio de Educacin del Per que, con el propsito de contribuir a elevar la calidad educativa en el pas, se viene ejecutando desde el ao 2002 para mejorar el desempeo docente en cuatro regiones del Per: Huancavelica, Piura, Madre de Dios y Lambayeque. En el mapa que aparece en la pgina siguiente se seala el mbito geogrfico de intervencin del programa. Tambin se incluyen algunos datos estadsticos educativos de las regiones.

1.1 Objetivo del programa


El programa PROEDUCA de la GTZ tiene como objetivo principal mejorar el desempeo docente a travs de la asesora tcnica en la formacin docente, la gestin educativa y la elaboracin de polticas educativas de las diversas organizaciones educativas ejecutoras en el mbito nacional, regional y local.

Docentes desempean profesionalmente su labor educativa

1.2 Componentes
Para que los docentes mejoren su desempeo, PROEDUCA focaliza su intervencin en tres componentes: calidad tcnica de la formacin docente, gestin educativa y formulacin participativa de polticas educativas. El componente de calidad tcnica de la formacin docente apunta hacia el desarrollo de un sistema integral de formacin y capacitacin de los maestros, orientado a satisfacer sus necesidades y demandas. Se trabaja asimismo en aspectos propiamente pedaggicos vinculados al diseo e implementacin de currculos, materiales didcticos y tcnicas para evaluar el desempeo docente, enfatizando el tema de la educacin intercultural bilinge.

P I U R A 241 488 alumnos de primaria* 8 254 docentes en servicio* 2 200 docentes en formacin* 9% tasa de desaprobados primaria 4,9% rend. suficiente en matemtica (6.) 40% extraedad en primaria 3,7% tasa de gasto pblico del PBI S/.657 gasto anual por alumno

LAMBAYEQUE 141 890 alumnos de primaria* 4 653 docentes en servicio* 2 166 docentes en formacin* 8% tasa de desaprobados primaria 8,9% rend. Suficiente en matemtica (6.) 37% extraedad en primaria 2,7% tasa de gasto pblico del PBI S/.704 gasto anual por alumno

MADRE DE DIOS 14 746 alumnos de primaria* 587 docentes en servicio* 225 docentes en formacin* 9% tasa de desaprobados primaria 3% rend. Suficiente en matemtica (6.) 35% extraedad en primaria 4,1% tasa de gasto pblico del PBI S/.1 004 gasto anual por alumno

HU ANC AVELIC A HUANC ANCA ELICA 95 968 alumnos de primaria* 3 553 docentes en servicio* 989 docentes en formacin* 13% tasa de desaprobados primaria 4,1% rend. Suficiente en matemtica (6.) 56% extraedad en primaria 6,3% tasa de gasto pblico del PBI S/.745 gasto anual por alumno

* Los nmeros de alumnos y docentes pertenecen a escuelas pblicas de primaria de menores escolarizada. Fuente: Cifras de La educacin por regiones 1998-2003, Indicadores de la educacin 2005 y Perfil educativo de las regiones (2006).

10

El componente de gestin educativa se centra en el fortalecimiento de las capacidades de gestin de las diversas instituciones estatales responsables de la formacin docente. En el marco de las nuevas tareas y funciones descentralizadas, se desarrollan capacidades de gestin y se fortalece a los actores en el desempeo de nuevos roles. El componente de formulacin participativa de polticas educativas se concentra en el desarrollo de instrumentos y mecanismos participativos y en el fortalecimiento de las instituciones de la sociedad civil, con el fin de fomentar el dilogo poltico entre las instancias estatales y los actores de la sociedad civil vinculados a lo educativo.

Docentes desempean profesionalmente su labor educativa

Calidad tcnica en la formacin docente

Fortalecimiento de la gestin educativa

Formulacin participativa de polticas educativas

1.3 Niveles de intervencin


El proceso de descentralizacin iniciado en el pas ha implicado que funciones administrativas y polticas del sector educativo pasen de una instancia nacional a instancias regionales, lo cual, sumado a la amplitud temtica que abarca PROEDUCA-GTZ (que va desde la generacin de polticas educativas nacionales hasta el involucramiento en tareas pedaggicas propias de las instituciones de formacin docente en cada una de las localidades en donde se trabaja), ha llevado a que la intervencin del programa se realice en tres niveles: nacional o macro; regional o meso y local o micro.

Nacional

Regional

Local

11

1.4 Ejes transversales


Entendidos como enfoques de trabajo que se aplican en todos los componentes y niveles, los ejes transversales impulsados en el programa son tres: interculturalidad, gnero y participacin. La educacin peruana no reconoce en la prctica la diversidad cultural de la poblacin. Por ello, el programa PROEDUCA-GTZ se encuentra comprometido con el fomento de la interculturalidad y busca que todas sus actividades, lneas de accin e impactos en la educacin presenten un sello intercultural. La tarea de lograr una intervencin transversal de la interculturalidad no ha sido ni sencilla ni inmediata. Ha implicado, en primer lugar, crear compromisos personales con los miembros del equipo, donde cada uno ha tenido mucho que aprender antes que transmitir. Esto no ha limitado la tarea y, ms bien, para asegurar su incorporacin estratgica, el programa ha creado una lnea de accin cuyo objetivo es el desarrollo de competencias interculturales. De acuerdo con las Metas del Milenio, la igualdad de derechos entre los sexos es un importante objetivo del programa y se espera que una mejor educacin bsica tenga repercusiones positivas en la reduccin de las tasas de repeticin y desercin, principalmente de las nias. El reto aqu ha sido la incorporacin de un enfoque de gnero en las actividades y lneas de accin de la intervencin misma. A la fecha, PROEDUCA-GTZ ha logrado incorporar el tema de gnero como una poltica educativa en las regiones y que se incluya como parte del perfil de formador que se busca alcanzar en las instituciones de formacin docente. Otro eje transversal del programa es el fomento de la participacin como un mecanismo para gestionar las instituciones y elaborar polticas educativas en los distintos mbitos y entre niveles de intervencin. El fomento de la participacin ha impulsado la interaccin con diversas instancias no slo educativas sino de la sociedad civil, en el marco del proceso de descentralizacin y participacin ciudadana. Los componentes, niveles de intervencin y ejes transversales estructuran una matriz que permite planificar y orientar la intervencin de PROEDUCA-GTZ en la consecucin de su objetivo.

12

Docentes desempean profesionalmente su labor educativa

Calidad tcnica de la formacin docente

Fortalecimiento de la gestin educativa

Formulacin participativa de polticas educativas

Nacional

Regional

Local

I n te r c u l t u ra l i d a d, pa r t i c i p a c i n , g n e ro

1.5 Lneas de accin


Segn el componente y el nivel de intervencin, se ha identificado un conjunto de necesidades y problemas que demandan actividades y productos especficos destinados a lograr los objetivos de los componentes y del programa. Este conjunto de necesidades y problemas comunes relacionados definen una lnea de accin; se trabaja con siete de ellas.

Desarrollo de capacidades en la direccin nacional de formacin y capacitacin docente del sector Educacin: se busca fortalecer las capacidades de gestin a travs de la elaboracin de un Sistema de Formacin Continua, concertado con la sociedad y otras instancias educativas, y en la implementacin de sistemas de monitoreo de la gestin educativa y pedaggica de los ISP. Desarrollo de capacidades de las instancias descentralizadas: se apunta a que los funcionarios de las Direcciones Regionales de Educacin (DRE) gestionen las polticas educativas en su jurisdiccin de manera pertinente, eficaz, democrtica y con transparencia, con especial atencin en la gestin de las polticas de formacin docente; se busca, asimismo, fomentar el desarrollo de sus capacidades, asesorndolos en su desempeo con relacin a los procesos de planificacin institucional y operativa, y en la implementacin de un sistema de regulacin de la formacin en servicio.

13

Desarrollo de capacidades de las instancias de participacin: se apoya la creacin y el fortalecimiento de los Consejos Participativos Regionales de Educacin (COPARE) como una instancia de vigilancia, participacin y concertacin de la gestin educativa regional, desarrollando capacidades tcnicas, organizativas y comunicacionales. Gestin de polticas educativas en el marco de la descentralizacin: se asesora en la elaboracin participativa y consensuada, entre el sector pblico estatal y la sociedad civil, del Proyecto Educativo Regional (PER ); asimismo, en la generacin de condiciones para su implementacin, fortaleciendo las capacidades de gestin de los Gobiernos Regionales, Direcciones Regionales de Educacin y Consejos Participativos Regionales de Educacin; y en la generacin de alianzas con otros actores institucionales. Desarrollo institucional de las instituciones pedaggicas : se busca mejorar la calidad de la formacin inicial y en servicio que ofrecen los institutos superiores pedaggicos, a travs del mejoramiento de las capacidades pedaggicas de sus formadores, desde la elaboracin de sus instrumentos de planificacin (carteles de contenidos, slabos, sesiones de aprendizaje) y el desempeo de su actividad pedaggica en el aula; se incluye el fortalecimiento de los consejos educativos institucionales mediante la asesora en la planificacin, implementacin y monitoreo de un plan de desarrollo de capacidades de los formadores. Tratamiento de lenguas: se encamina a crear y encauzar polticas institucionales en los ISP para el uso de lenguas en la formacin docente intercultural bilinge. Est orientado bsicamente a los institutos pedaggicos bilinges con el objetivo de formar profesionales en Educacin Intercultural Bilinge (EIB) que dominen el quechua y el castellano oral y escrito con el fin de conducir procesos de aprendizaje en ambas lenguas. Desarrollo de competencias interculturales: se proponen, como eje que atraviesa todo el programa, cinco competencias interculturales para que sean desarrolladas por los actores y con relacin a todas las actividades que realizan los componentes para transversalizar el tema. En formacin docente, el enfoque intercultural y las competencias interculturales se plasman en las herramientas de programacin como los slabos y las sesiones de aprendizaje, as como en el mismo desempeo docente en el aula, en la relacin formadoralumno y en los modos de abordar la prctica y el discurso pedaggico para la formacin de futuros maestros. En gestin y polticas educativas, el tema de la interculturalidad es posicionado en una toma de conciencia de las distintas realidades en cada regin, y se viene plasmando en la elaboracin de los PER correspondientes.

14

Estas lneas de accin pueden ser ubicadas en la siguiente matriz de niveles y componentes.

Docente desempean profesionalmente su labor educativa

Calidad tcnica de la formacin docente

Fortalecimiento de la gestin educativa

Formulacin participativa de polticas educativas

Nacional

Desarrollo capacidades direccin nacional de formacin y capacitacin docente

Regional

Desarrollo capacidades instancias descentralizadas

Desarrollo capacidades instancias de participacin Gestin polticas educativas regionales

Desarrollo institucional de instituciones pedaggicas

Local
Tratamiento de lenguas

Desarrollo de competencias interculturales

1.6 Actores
En la ejecucin del programa PROEDUCA-GTZ se distinguen varios actores:

El equipo GTZ de PROEDUCA


Este equipo est organizado internamente bajo el siguiente modelo: un director, un coordinador de programa, un coordinador por nivel de intervencin (nacional, regional y local), un equipo de especialistas para trabajar las diferentes lneas de accin, una unidad de monitoreo y el equipo administrativo. Los coordinadores tienen bajo su responsabilidad las lneas de accin que corresponden a su nivel y cuentan con el equipo de especialistas para desarrollar diversas tareas segn las caractersticas del trabajo. Adicionalmente, existe la posibilidad de contratar consultoras a corto plazo.

15

Direccin

Monitoreo

Administracin

Coordinador del programa

Coordinador de nivel nacional

Coordinador de nivel regional

Coordinador de nivel local

Especialistas

El equipo de contrapartes de PROEDUCA


Las contrapartes del programa pueden distribuirse segn los niveles de intervencin. En el nivel nacional se encuentra el Ministerio de Educacin, especficamente la Direccin Nacional de Formacin y Capacitacin Docente (DINFOCAD)1, responsable de formular, proponer y orientar la poltica pedaggica para la educacin superior en la formacin inicial y en servicio en los mbitos pedaggico, tecnolgico y artstico de todo el pas. En las regiones2, son las Direcciones Regionales de Educacin (DRE), instancias vinculadas a la gestin del Sistema de Formacin Continua (SFC). Asimismo, los Gobiernos Regionales a travs de las Gerencias de Desarrollo Social y los Consejos Participativos Regionales (COPARE) que intervienen en el diseo participativo y concertado de las polticas educativas regionales. En el nivel micro o local, estn comprendidos seis institutos superiores pedaggicos de formacin docente.

Segn el D. S. 006-2006-ED, la nueva denominacin es: Direccin de Educacin Superior Pedaggica, que depende de la nueva Direccin Nacional de Educacin Superior y Tcnico-Profesional. En el mbito regional tambin se encuentran considerados los Centros Amauta.

16

Nacional

DINFOCAD

Regional

GR

DRE

COPARE

Local

ISP

Socios estratgicos de PROEDUCA


Adems de las contrapartes y los beneficiarios, existen alianzas estratgicas establecidas con diversas organizaciones nacionales e internacionales relacionadas con el tema educativo. De un lado, estn el Consejo Nacional de Educacin (CNE) y Foro Educativo, con quienes se realizan eventos e investigaciones relacionados al tema docente. De otro lado, estn la OREALC/UNESCO, con estudios en pases latinoamericanos sobre salud docente y formulacin participativa de polticas educativas, y la Mesa de Cooperantes constituida por AECI, USAID, COSUDE, ACDI y la propia GTZ, que desde el 20033 viene reunindose para trabajar en temas de polticas educativas, descentralizacin educativa, educacin rural y seguimiento de compromisos internacionales.

Grupo meta de PROEDUCA


Est constituido por los beneficiarios finales de los servicios que prestan las contrapartes; lo componen los alumnos de educacin primaria y tiene como sector intermediario a los docentes en servicio4 de las cuatro regiones donde interviene el programa. El siguiente esquema resume los aspectos del programa que hasta ahora hemos presentado. Para contribuir a que los docentes en servicio de Huancavelica, Madre de Dios, Piura y Lambayeque mejoren su desempeo, PROEDUCA ejecuta su intervencin a travs de tres componentes y bajo tres niveles, con un conjunto de actividades comunes llamadas lneas de accin que son desarrolladas con un grupo de actores desde un enfoque intercultural, participativo y de gnero.

Las primeras coordinaciones datan de 1996 y su consolidacin llega el 17 de febrero del 2005, con la firma del Acta de entendimiento.
3 4

La cadena de impactos hasta llegar a los alumnos de primaria es demasiado larga y el tiempo planificado del programa, demasiado corto; de all la necesidad de incluir a los docentes en servicio como parte del objetivo del programa.

17

Docente desempean profesionalmente su labor educativa

Calidad tcnica de la formacin docente

Fortalecimiento de la gestin educativa

Formulacin participativa de polticas educativas

Nacional

Desarrollo capacidades direccin nacional de formacin y capacitacin docente

DINFOCAD

COPARE

Regional

DRE

Desarrollo capacidades instancias descentralizadas GR

Desarrollo capacidades instancias de participacin

Gestin polticas educativas regionales

Desarrollo institucional de instituciones pedaggicas

Local
Tratamiento de lenguas

ISP

Desarrollo de competencias interculturales

Contrapartes

Eje transversal

Lneas de accin

Objetivos, componentes y niveles

1.7 PROEDUCA - GTZ a travs del tiempo


Definido para ejecutarse desde el ao 2002 hasta el 2009 en tres fases, el programa PROEDUCA-GTZ no siempre tuvo la misma estructura, objetivos y componentes hasta ahora descritos.

18

Contexto Per: Ley de Descentralizacin Contexto BMZ: Paradigma de impactos

Contexto GTZ: Proyectos a programa

2002

2003

2004

2005

2006

2007

2008

2009

1. fase

2. fase

3. fase

PROEDUCA Primera oferta

PROEDUCA Segn nueva y actual oferta

Su conceptualizacin es el producto de un cmulo de experiencias que se han ido generando en el tiempo a partir de su intervencin en el sector educativo, pero tambin en respuesta a los nuevos contextos surgidos en la concepcin de los programas5:

Nuevos lineamientos para la asesora tcnica de la GTZ : la perspectiva de los programas. Con el objeto de dar mayor eficiencia y alcance a las intervenciones, desde el 2002 la cooperacin tcnica alemana ha buscado romper el aislamiento y los esfuerzos atomizados de sus proyectos reunificndolos alrededor de un programa nico con un objetivo comn. La tarea no fue sencilla pero signific el nacimiento de PROEDUCA-GTZ, que reuna los proyectos PROFOGED, PROFODEBI y PROFORMA, que hasta entonces se ejecutaban con el Ministerio de Educacin como contraparte, a la vez que recoga las lecciones aprendidas del PLANCAD-GTZ-KfW. Nuevos lineamientos para la cooperacin tcnica del Ministerio Alemn de Cooperacin ( BMZ): la orientacin hacia los impactos. Inicialmente, desde un enfoque de inputs (insumos), la cooperacin tcnica era valorada ms por su calidad y eficiencia al ejecutarse la intervencin que por los impactos generados. Bajo este enfoque, el estricto seguimiento de la metodologa ZOOP y la matriz de planificacin de proyectos (MPP) era la manera clsica de monitorear los proyectos y de justificar ante el BMZ la responsabilidad asu-

En su primera oferta y antes de iniciarse el proceso de descentralizacin y darse los lineamientos para una orientacin hacia los impactos, la intervencin del programa consideraba cinco componentes: polticas magisteriales, formacin continua, gestin educativa, educacin bilinge intercultural y soporte conceptual y comunicaciones.

19

mida. Desde el 2003, cambi el nfasis en este enfoque y se empez a hablar de uno nuevo: el de los outputs (resultados). Segn este nuevo enfoque, no importa slo la calidad de la intervencin sino tambin el impacto generado. La metodologa ZOOP y la MPP, aunque importantes, no eran suficientes y se instaur como nuevo enfoque el de la orientacin hacia los impactos.

El contexto educativo en el Per: el proceso de descentralizacin. Iniciado en el 2002, signific para PROEDUCA-GTZ reestructurar y ampliar el nmero de contrapartes en concordancia con las nuevas normas vigentes. La descentralizacin tuvo una influencia directa en el eje vertical o niveles de intervencin del programa. Con su inicio se tuvo claro que dicha intervencin debera ajustarse para responder no slo a las demandas nacionales sino tambin regionales y locales, como finalmente qued definido.

La fusin de proyectos en un programa y la inclusin de la orientacin hacia los impactos han significado un verdadero cambio paradigmtico en cuanto a concepcin de un programa, lo cual, sumado a la coyuntura poltico-educativa del pas con el proceso de descentralizacin, ha generado a su vez:

Un cambio en la concepcin de gestin de los programas: se pas de una gestin centrada en la calidad de los resultados a una centrada en asegurar la generacin de impactos. Un cambio en la organizacin del programa: dado que se interviene en procesos sociales complejos y que el inters se centra en los impactos, se permiti mayor flexibilidad en la forma de organizar la cooperacin tcnica. Un cambio metodolgico: dej de ser obligatorio el uso de la matriz de planificacin de proyectos para adaptarse al uso de instrumentos que aseguren impacto, como las cadenas de impacto. Un cambio de mentalidad en las personas: se pretende que las personas del equipo GTZ y contrapartes no slo busquen calidad en las actividades que realicen sino que alcancen impactos, lo que requiere a su vez de una continua autoevaluacin. Un cambio en el sistema de monitoreo: se resignific el monitoreo de actividades y resultados y se pas a un enfoque nuevo y sistmico orientado hacia los impactos.

20

2. El monitoreo orientado hacia los impactos


Hasta hace algunos aos, la principal responsabilidad del monitoreo se focalizaba en la ejecucin de las actividades y la obtencin de los productos previstos de acuerdo con lo planificado. Con esa mira, el monitoreo de actividades y resultados tena un grado de importancia privilegiado y su objetivo principal era asegurar la calidad de la intervencin. Aunque importantes, los impactos eran medidos como una evaluacin externa al monitoreo y ajena a la intervencin. Desde el 2003 se implanta un nuevo enfoque en la cooperacin tcnica y una nueva forma de entender la responsabilidad de los programas. Se sostiene que el sentido de un programa no es la intervencin misma sino los impactos que genera. As, no basta con brindar calidad a las actividades y productos alcanzados, sino asegurar que estos ejerzan un impacto: es decir que los productos y servicios sean aprovechados por las contrapartes y, luego, que las utilidades beneficien a las poblaciones meta. Este nuevo enfoque tuvo dos repercusiones inmediatas: por un lado, la matriz de planificacin de proyectos (MPP) dejaba de ser el nico instrumento de planeamiento y, por otro lado, el monitoreo de actividades y resultados, aunque necesario, resultaba insuficiente. Surgi, entonces, una mayor preocupacin por atender los impactos y fueron apareciendo o reestructurndose nuevas herramientas de planificacin, como las cadenas de impacto, empezndose a forjar un nuevo sistema de monitoreo: el orientado hacia los impactos6.

2.1 Las cadenas de impacto


Para PROEDUCA-GTZ, los impactos son cambios causados por la intervencin de un programa que pueden ser planificados o no, intencionales o no, directos o indirectos, positivos o negativos7. Los impactos se producen desde el inicio de la intervencin, durante toda su duracin y en los mbitos ms diversos.

6 Lo expuesto no destaca tanto por el descubrimiento de una nueva forma de ver las intervenciones de los programas, sino ms bien por ser GTZ una de las principales agencias que ha llevado a la prctica lo que muchos sostienen tericamente. 7

Algunos autores hablan de impactos, efectos y resultados, indistintamente. Otros denominan impacto al efecto indirecto.

21

Sin embargo, de todos los posibles impactos que pudieran surgir, interesa el conjunto de impactos positivos y planificados que se espera alcanzar como consecuencia directa de la intervencin. Entonces cobra importancia la certeza de que la intervencin genere los cambios esperados. Ello exige un razonamiento de causas y efectos entre las actividades y productos de la intervencin y los impactos surgidos como consecuencia de su uso o utilizacin. Las cadenas de impacto, precisamente, son un instrumento que permite visualizar las hiptesis que se hallan detrs de un programa. Permiten analizar ms profundamente cules son los cambios que se espera generar a partir de las actividades, productos y servicios que brinda dicho programa. En general, las cadenas de impacto reflejan la siguiente lgica: el equipo GTZ y contrapartes desarrollan actividades que originan productos y servicios que son usados o aprovechados por las instituciones intermediarias con el objetivo de generar utilidades que beneficiarn al grupo meta. En la lgica de causas y efectos conviene diferenciar hasta tres niveles de cambio en las cadenas de impacto:

Uso o utilizacin 8 Es un primer nivel de impacto que refleja el aprovechamiento o el uso que hacen los actores de los productos o servicios que presta el programa. Ejemplo: los formadores del ISP ofrecen talleres a maestros en servicio sobre desempeo docente con enfoque intercultural.

Utilidad 9 Es un segundo y tercer nivel de impacto que alude a los cambios habidos como consecuencia del uso que hacen los actores de los servicios que presta la intervencin del programa. Implica cambios de mediano y largo plazo y se ubica en un nivel ms agregado. Ejemplo: los maestros en servicio incorporan la interculturalidad en el dictado de sus clases. De todas las utilidades generadas por el programa, el de mayor importancia es la denominada utilidad directa, que se expresa en el objetivo central del programa. Ejemplo: los maestros mejoran su desempeo en las escuelas.

8 9

Algunos autores lo llaman aprovechamiento. Llamada por algunos autores beneficio.

22

Utilidad indirecta Son cambios a muy largo plazo y que no tienen una relacin causa-efecto directa, ni certera, con la intervencin debido a la influencia de mltiples factores ajenos al programa. Ejemplo: los alumnos mejoran su aprendizaje en las escuelas.

Utilidad agregada Es un tipo de utilidad indirecta que destaca por ser la contribucin proveniente de un programa para alcanzar un objetivo superior. Ejemplo: reduccin de la pobreza.

Cadena de impactos

Utilidad agregada

Reducir la pobreza

Utilidad agregada

Reduccin del analfabetismo

Utilidad indirecta

Alumnos mejoran su aprendizaje

B R E C H A D E AT R I B U C I N
Utilidad directa Maestros en servicio mejoran su desempeo

Utilizacin o uso

Formadores de ISP ofrecen talleres a maestros en servicio sobre desempeo docente con enfoque intercultural

Productos o servicios

Los responsables de ISP elaboran un programa de formacin en servicio sobre enfoque intercultural en el desempeo docente

Actividades

PROEDUCA-GTZ ejecuta taller para responsables de ISP sobre desempeo docente con enfoque intercultural

Se entiende que la intervencin de un programa incide ms en los impactos del primer nivel y que su fuerza se va diluyendo conforme se llega a los niveles superiores. Por ejemplo, segn el grfico, es mayor la probabilidad de ejercer impacto en el desempeo docente (utilidad directa) que en el aprendizaje escolar (utilidad indirecta), o, menor an, en la reduccin de la pobreza (utilidad agregada), aunque se supone que algn impacto debera producirse. Es a esta imposibilidad de atribuir causa y efecto a algunos impactos a lo que hace referencia el concepto de brecha de atribucin.

23

La brecha de atribucin puede ser entendida como el espacio donde los impactos no son directamente atribuibles a la intervencin de un programa, debido a la influencia de otros factores ajenos al control de dicha intervencin. Dado que debe existir certeza de influencia en el uso, la utilizacin y el objetivo del programa, se espera que no exista una brecha de atribucin en la cadena de impacto desde las actividades hasta la utilidad o impacto directo.

2.2 El monitoreo
PROEDUCA-GTZ entiende el monitoreo como una herramienta de gestin que permite

llegar peridica y sistemticamente a acuerdos sobre el progreso en una intervencin. No slo se remite a la observacin y procesamiento de informacin, sino a un continuo dilogo en la toma de decisiones y la accin a lo largo de la implementacin de un programa. Esto puede expresarse en la siguiente figura, basada en el trabajo de Vahlhaus y Kuby (2000):

Observar

Actuar

Decidir

Implementacin de un programa

Actuar

Decidir

Observar

Actuar

Se distinguen por lo menos tres tipos de monitoreo a travs de las cadenas de impacto: el de actividades, el de resultados y el de impactos. El primero est orientado a comparar la ejecucin con la planificacin de las actividades de un programa. El segundo responde a los logros que se alcanzan con la intervencin de un programa; hace un seguimiento de los productos y servicios que se obtienen a partir de las actividades del mismo. El tercero se centra en el seguimiento de los impactos a corto y largo plazo del programa, incluso cuando ya ha finalizado su intervencin. El monitoreo de impactos es la evaluacin misma de un programa10. La relacin entre estos diferentes niveles de monitoreo, las cadenas de impacto y la planificacin del programa se muestra en el siguiente grfico:
10 Cabe diferenciar el monitoreo de impacto del monitoreo orientado hacia los impactos; el primero es un rea del segundo.

24

Objetivo superior

Impacto superior

Objetivo del desarrollo

Impacto indirecto

Monitoreo de impactos

B R E C H A D E AT R I B U C I N
Objetivo del programa Impacto directo

Utilidades Objetivo de componentes Uso

Monitorero de resultados

Resultados

Productos y servicios

Monitoreo de actividades

Actividades

Actividades

2.3 El Sistema de Monitoreo Orientado hacia los Impactos ( SMOI )


El monitoreo orientado a los impactos es una herramienta de gestin fomentada por la GTZ bajo el supuesto de que lo ms importante en la intervencin de un programa es el impacto que se genera. Se le considera monitoreo porque es una herramienta interna de gestin que permite detectar errores y aciertos, crear espacios de discusin, brindar retroalimentacin y conducir a la toma de decisiones. Est orientado hacia los impactos porque el eje conductor de todo lo monitoreado reside en que cada tipo y rea de monitoreo se encaminen hacia la consecucin de los impactos esperados. Esta ltima caracterstica es la que le brinda relevancia e importancia al enfoque. Bajo una orientacin hacia los impactos, el monitoreo de actividades no consiste solamente en observar cun bien se est realizando el trabajo

25

de acuerdo con lo planificado, sino tambin en ver en qu medida el producto o servicio que se generan nos estn acercando a los impactos. Es un sistema porque exige la planificacin y elaboracin de un conjunto de indicadores, instrumentos, metodologas, responsabilidades y cronogramas que engloban otros tipos de monitoreo, con miras a orientar la intervencin para generar impactos. As, la tarea consiste en implementar un sistema de monitoreo que permita: Primero, crear espacios de reflexin en torno a las actividades y productos que el equipo ejecuta, es decir, una continua consideracin de para qu se llevan a cabo determinadas acciones. Aqu es importante guiarse por las cadenas de impacto, sopesar el sentido de las actividades planteadas en el POA, tener claro el diseo de las intervenciones y establecer metas y logros intermedios para trazar la orientacin hacia los impactos. Segundo, hacer un seguimiento de los indicadores del programa para saber en qu medida vamos alcanzando los impactos esperados. Dicho seguimiento incluye los impactos indirectos que quedan bajo la responsabilidad del propio programa. Es decir, la evaluacin, usualmente externa, pasa a ser parte del sistema de monitoreo.

2.4 Pasos para disear un SMOI


El monitoreo est estrechamente vinculado a la planificacin de un programa. Aunque a veces el monitoreo no es realizado por quienes disearon o planificaron el programa, para implementarlo es imprescindible revisar los pasos seguidos en la planificacin de los objetivos, componentes, indicadores y la forma como se elaboraron.
PROEDUCA propone cinco pasos para disear un sistema de monitoreo orientado

hacia los impactos. No se sugiere seguir un orden estricto en los pasos sealados. 1 El primer paso consiste en definir los objetivos del monitoreo. La mayora de personas supone que el monitoreo es importante en la ejecucin de proyectos, pero no tiene claro para qu sirve o cmo puede utilizarse. La definicin de los objetivos del monitoreo permite tener una idea clara del fin que este persigue. Adems, se debe precisar quines se responsabilizarn del sistema, determinar las expectativas que tienen, el tipo de informacin requerida, los plazos, la calidad de la informacin, los recursos disponibles, entre otros aspectos. 2 El segundo paso es determinar las reas de impacto. Es decir, sealar qu impactos son relevantes para la consecucin de los objetivos. La mejor forma

26

de visualizar y definir las reas de impacto es recurriendo a las cadenas de impacto. Ocurre que muchas veces estas no existen o son poco elaboradas, sin que est claro cules son las relaciones de causa y efecto entre la intervencin y los objetivos del programa. Es cuando, ms que trabajar en un sistema de monitoreo, se tiene que trabajar en las cadenas de impacto como herramientas de planificacin. Al final de la tarea, es importante determinar con el equipo qu impactos son los que se espera monitorear. 3 En el tercer paso se deben definir los indicadores de impacto. Estos son los que nos permiten reconocer que se han alcanzado los objetivos del programa y de los componentes. Es posible que los indicadores de tales objetivos ya hayan sido trabajados durante la planificacin y solo requieran algunas precisiones. Tambin es importante definir los hitos o logros intermedios. Estos son indicadores que se encuentran por debajo de los de programa y componente, se sitan a nivel de resultados o utilizacin de productos y servicios y permiten dar cuenta de qu tanto nos acercamos a la consecucin de los objetivos. Los hitos o logros intermedios son ms necesarios cuando las cadenas de impacto son prolongadas y para alcanzar los objetivos de un programa se requiere crear previamente condiciones, productos o servicios. 4 Una vez formulados los indicadores, se procede a seleccionar los mtodos y se sealan los tiempos para la recoleccin de datos. En los casos en que existan fuentes con la informacin necesaria, no habr que construir instrumentos, escoger muestra, realizar trabajo de campo y procesar los datos. Sin embargo, la mayora de las veces es necesario llevar a cabo todo el proceso, ya sea directamente o a travs de consultoras con terceros. El primer recojo de informacin que se realiza al empezar el proyecto constituye la lnea de base del programa. Los instrumentos y metodologas de seguimiento para los indicadores de programa y de componente requieren informacin de tipo cuantitativo y estadstico, mientras que los hitos o logros intermedios requieren instrumentos que permitan recoger informacin de los procesos y condiciones necesarias en la consecucin de los objetivos de manera ms frecuente; y tiene una importancia sustancial la informacin de tipo cualitativo. 5 El anlisis de la informacin proveniente del sistema contribuye a una toma de decisiones fundamentada, a promover la reflexin respecto a la intervencin y a realizar ajustes tanto en la intervencin como en el sistema de monitoreo mismo. A pesar de su importancia, sin embargo es un paso que a veces se deja de lado. Un monitoreo sin retroalimentacin pierde el sentido y vuelve intiles los pasos previos. La toma de decisiones y la retroalimentacin

27

son importantes porque permiten sopesar la consecucin de los objetivos y hacer las correcciones pertinentes en los casos que lo requieran. Lo dicho en estos cinco pasos puede graficarse como sigue:

1
Anlisis y toma de decisiones

Definicin de objetivos de monitoreo

2 5 4
Seleccin de mtodos para recoger datos

Determinar reas de impacto

Definir indicadores de impacto y logros intermedios

28

3. El SMOI de PROEDUC A-GTZ: organizacin e PROEDUCA implementacin


El Sistema de Monitoreo Orientado hacia los Impactos (SMOI) del programa PROEDUCAGTZ es el resultado de la experiencia en el monitoreo aplicado a diversos proyectos de la GTZ en el sector Educacin; representa adems la experiencia observada en otros sistemas de monitoreo de la GTZ, la revisin bibliogrfica sobre el tema y un ejercicio conceptual de llevar a la prctica la incorporacin del nuevo enfoque de orientacin hacia los impactos.

3.1 Objetivos
El Sistema de Monitoreo Orientado hacia los Impactos del programa PROEDUCA ha trazado los siguientes objetivos de monitoreo:

Orientar la intervencin del programa hacia la generacin de impactos, programados con un control de posibles riesgos, a partir de la evaluacin sistemtica de los cambios generados con el uso de los productos y servicios del programa. Generar un sistema de informacin que permita la reflexin y toma de decisiones fundamentada en la gestin del programa hacia los impactos. Llegar peridica y sistemticamente a acuerdos sobre la ejecucin del trabajo, ajustando continuamente las actividades a la realidad de las regiones, a partir de los cambios deseados y no deseados que ocurren en las reas de intervencin y los cambios deseados que no se han logrado. Contribuir a la generacin de una cultura de monitoreo en los miembros y contrapartes del programa. Legitimar el modelo del programa como estrategia de intervencin frente a financiadores, contrapartes, socios y otras instituciones relacionadas con el mundo educativo.

3.2 Principios
El SMOI de PROEDUCA se apoya en los siguientes principios:

Oportunidad: el sistema provee informacin en momentos adecuados, lo cual permite que se pueda utilizar y sacarle provecho durante la implementacin.

29

Flexibilidad: el sistema se ajusta y adapta a las caractersticas complejas de la realidad del pas, su cultura y las polticas coyunturales, como el proceso de descentralizacin. Participacin: el sistema compromete la accin y responsabilidad compartida de los actores involucrados en la implementacin del programa. Continuidad: el recojo, procesamiento y difusin de la informacin se realizan de forma continua para que esta pueda ser utilizada en cualquier momento por los responsables de la toma de decisiones. Tiene incidencia tanto en la toma de decisiones como en los ajustes a la implementacin, dando as nuevamente inicio al proceso.

3.3 Organizacin del SMOI de PROEDUCA


De acuerdo con la lgica de intervencin del programa y las cadenas de impacto, el SMOI de PROEDUCA implica el seguimiento de dos reas de observacin11:

rea de impactos: donde se comprueba el alcance de los indicadores correspondientes a los componentes y el programa. rea de logros intermedios: donde se monitorean los hitos dentro de cada lnea de accin que se requieren para alcanzar los impactos en los componentes.

El monitoreo de la calidad de las actividades correspondientes a cada lnea de accin es ntegramente de responsabilidad de los coordinadores; no existen consignas en cuanto a tiempo ni metodologa, aunque s disponibilidad para brindar soporte tcnico en el diseo de indicadores, la elaboracin de instrumentos y el anlisis de datos. La unidad de monitoreo, aunque no realiza actividades en esta rea, alienta su ejecucin buscando institucionalizar en el equipo de PROEDUCA una cultura de monitoreo orientado hacia los impactos. Dicha unidad monitorea la orientacin hacia los impactos de la intervencin, mientras que el equipo de coordinadores monitorea la calidad de la intervencin.
11

30

Reduccin de pobreza

Impacto superior

Aprendizaje del alumno

Impacto indirecto

Monitoreo de impactos

B R E C H A D E AT R I B U C I N
Desempeo docente Impacto directo

Utilidades Polticas educativas Gestin educativa Formacin docente Uso

Monitorero de logros intermedios

Logros en lneas de accin

Logros en lneas de accin

Logros en lneas de accin

Productos y servicios

Actividades

Actividades

Actividades

Actividades

Adems de las reas anteriores, PROEDUCA tambin monitorea otros dos aspectos:

rea de riesgos: donde se examinan las condiciones externas al programa que pueden interferir con el logro de los impactos. rea de efectos no esperados: donde se reportan cambios positivos o negativos suscitados como consecuencia del programa y que no estaban planificados.

rea de impactos
Segn la lgica de las cadenas de impacto de PROEDUCA, se pueden distinguir hasta tres tipos de indicadores para monitorear la orientacin hacia los impactos del programa: de componente, de programa y de nivel superior.

31

Cadena
Impacto superior

Objetivos
Reduccin de pobreza Aprendizaje del alumno

Indicadores
ndice de pobreza

Impacto inferior

Aprendizaje del alumno

1
Impacto directo Desempeo docente

Conocimiento de docentes Metodologa de docentes Satisfaccin de alumnos Interculturalidad en desempeo Participacin docente en gestin

2 3 4 5 6 7 8 9 10 12 13 14 15 16

Utilidades Uso

Polticas educativas

Gestin educativa

Formacin docente

Programas de formacin en servicio Satisfaccin formacin en servicio Interculturalidad en slabos Perfil de formadores Conocimiento de funciones ndice de gestin institucional Sistema de Formacin Continua Oportunidades de participacin Seguimiento del PER por COPARE Proyectos derivados del PER

Los indicadores de los objetivos de componentes 12 corresponden a los impactos esperados y positivos que se expresan en el uso o utilizacin de los servicios y productos del programa (primer nivel de impactos). PROEDUCA-GTZ cuenta actualmente con 10 indicadores a nivel de componente: 4 para el componente de formacin docente, 2 para el de gestin educativa y 4 para el de diseo de polticas educativas (ver anexo 3). Los indicadores de componente se evalan anualmente; si bien se espera su consecucin al finalizar cada fase, la informacin es recogida cada ao para evaluar el logro de los impactos esperados. Cada uno de indicadores sigue un procedimiento

12

Inicialmente, la oferta del programa comprenda 16 indicadores, pero en una evaluacin posterior se decidi fusionar los indicadores 11 y 12. Debido a la familiaridad con la enumeracin anterior, se decidi conservar los nmeros que se asignaron inicialmente.

32

independiente, tanto en el recojo de informacin como en el anlisis de datos. La informacin recogida es sintetizada en informes que luego son difundidos y discutidos con el equipo de trabajo (anexo 2). Los 10 indicadores correspondientes a los componentes pueden ser ubicados segn las lneas de accin que componen la matriz del programa. Es probable que un indicador incluya el trabajo en varias lneas de accin; esto se explica por la complejidad en la consecucin del mismo, el nmero de actores involucrados y las diversas lneas de accin en las que se debe intervenir.

Docente desempean profesionalmente su labor educativa

Calidad tcnica de la formacin docente

Fortalecimiento de la gestin educativa

Formulacin participativa de polticas educativas

10
Nacional

Desarrollo capacidades direccin nacional de formacin y capacitacin docente

13 14 15 16

6
Regional

Desarrollo capacidades instancias descentralizadas

10 11

Desarrollo capacidades instancias de participacin

7 6
Local

Gestin polticas educativas regionales 14

Desarrollo institucional de instituciones pedaggicas

14

Tratamiento de lenguas

16

8 9

Desarrollo de competencias interculturales

Los indicadores del objetivo de programa corresponden a las utilidades producidas a partir del uso y aprovechamiento de los productos y servicios del mismo (segundo y tercer nivel de impactos) y que tienen como utilidad directa la mejora del desempeo docente en las escuelas.
PROEDUCA cuenta con 5 indicadores de impacto del programa (anexo 3). Con

fines de evaluacin de la intervencin, los indicadores de impacto correspondientes al objetivo del programa se establecen rigurosamente al inicio de la intervencin (ex ante) y al concluir el programa (ex post). No obstante, cada ao se discuten, sustentan y documentan indicios del progreso segn los indicadores del objetivo de programa.

33

1
Docentes desempean profesionalmente su labor educativa

2 3 4 5

6
Calidad tcnica de formacin docente

7 8 9

Fortalecimiento de la gestin educativa

10 12

13
Formulacin participativa de polticas educativas

14 15 16

Respecto a los indicadores de nivel superior, aunque el programa no reporta lo relativo a utilidades indirectas que para PROEDUCA se expresan en la mejora del aprendizaje de los nios en las escuelas, s se hace seguimiento de los resultados que obtienen los estudiantes en las pruebas nacionales de rendimiento que aplica el Ministerio de Educacin. Ciertamente, el fin ltimo de intervenir en la mejora del desempeo docente es que los alumnos mejoren sus aprendizajes. Sin embargo, la brecha de atribucin entre la intervencin de PROEDUCA y el aprendizaje de los alumnos no es directa porque este se encuentra influenciado por diversos factores, como: clima familiar, desnutricin, condiciones laborales del docente, etc. Lo mismo ocurre con el objetivo superior de reduccin de la pobreza, contribucin que, por otro lado, espera realizarse a largo plazo. El conjunto de indicadores, instrumentos para recolectar informacin, fuentes y periodicidad del acopio son detallados en el siguiente cuadro:

34

Tipo de Indicador Tema relacionado al Indicador Acopio de Informacin ndice de pobreza Revisin datos
INEI UMC

Instrumento de recoleccin Fuente de Informacin

Indicadores superiores

Aprendizaje de alumnos Revisin datos Pruebas Observacin Cuestionario Observacin Encuesta Ficha Encuesta Ficha Observacin Entrevista Cuestionario Entrevista Entrevista Entrevista Entrevista
Regional Regional Local Local Nacional, regional, local Local Nacional Nacional, regional, local Regional Regional Escuelas primaria y UMC

1 Conocimiento de docentes 2 Metodologa de docentes 3 Satisfaccin de alumnos 4 Interculturalidad en desempeo 5 Participacin docente en gestin 6 Programas de formacin en servicio 7 Satisfaccin formacin en servicio 8 Interculturalidad en slabos 9 Perfil de formadores 10 Conocimiento de funciones 12 ndice de gestin institucional 13 Sistema de Formacin Continua 14 Oportunidades de participacin 15 Seguimiento del PER por COPARE 16 Proyectos derivados del PER
2004 2009

Indicadores del objetivo del programa

Indicadores de formacin docente

Indicadores de los objetivos de componente

Indicadores de gestin educativa

2004 2006 2007 2008 2009

Indicadores de polticas educativas

35

rea de logros intermedios


La consecucin de los objetivos de componente y de programa no es una tarea directa, sino que implica la institucionalizacin de sistemas, la organizacin de grupos, la elaboracin de documentos y de todo un conjunto de productos y servicios que sirven de condiciones previas para tal fin. Para ello, cada una de las lneas de accin se organiza alrededor de actividades que el equipo GTZ y las contrapartes deben realizar conjuntamente para desatar las cadenas de impacto y alcanzar los objetivos de componentes y de programa. Por ejemplo, para que los programas de formacin en servicio respondan a un diagnstico de necesidades de capacitacin, se requiere primero tener el diagnstico respectivo; para que el COPARE emita oportunamente pronunciamientos sobre el PER, primero debe constituirse como tal; para que los formadores respondan a criterios mnimos exigibles, primero debe elaborarse un perfil tcnico-pedaggico. El razonamiento, aunque evidente, supone un conjunto de logros intermedios que no llegan a ser captados por los indicadores de componente y de programa. La necesidad de crear logros intermedios y de monitorearlos ocurre con mayor probabilidad cuando las cadenas de impacto desde los productos y servicios hasta los objetivos de componente son mucho ms largas. En el aspecto operativo, el monitoreo de logros intermedios es realizado continuamente a travs de una ficha-informe (anexo 1) que cada coordinador prepara para las reuniones quincenales del equipo tcnico. En estas reuniones, a partir de los informes, se discuten los procesos seguidos para obtener los impactos y logros intermedios, las dificultades encontradas, la presencia de riesgos y efectos no esperados, se proponen estrategias, se toman decisiones y la informacin es registrada para anlisis posteriores. Cada cuatro meses se elabora un boletn a partir de las fichas respectivas y se complementa con una breve entrevista a los coordinadores para determinar los principales logros e impactos alcanzados de manera global, as como las principales fortalezas y debilidades encontradas en cada nivel y lnea de accin13.

rea de riesgos
Los riesgos son factores o situaciones externas al programa que pueden incidir negativamente en su marcha y en la consecucin de los objetivos e impactos programados. Todos los riesgos son registrados sistemticamente en las reuniones de coordinacin que tiene el equipo de trabajo, pero son reportados tres veces al ao. La idea es estar siempre atentos frente a sus alcances y, en lo posible, estar prevenidos ante una
13

El informe es parte de lo que en el programa se conoce como monitoreo interno.

36

posible amenaza a la implementacin del programa. Todos los riesgos calificados como riesgos medios son comunes a los diferentes componentes y niveles de intervencin. Aqu se han considerado los siguientes factores:

Rotacin de personal: hay un alto ndice de cambios del personal correspondiente a las instancias superiores de toma de decisiones en las distintas contrapartes. La alta rotacin afecta a todos los niveles de intervencin y detiene o retrasa los procesos en marcha, les quita liderazgo y exige invertir ms tiempo y recursos de los planificados. Ocurre ms frecuentemente en las regiones y localidades. Se analiza segn el nmero de cargos de directores locales y regionales en un ao. Politizacin de los cargos pblicos: el comportamiento de los funcionarios que ocupan puestos jerrquicos y toman decisiones muchas veces est guiado por consignas partidarias y no por las prioridades polticas del sector. El efecto del riesgo es el cambio arbitrario en la conduccin de la poltica educativa, lo que resta continuidad o retrasa los procesos en marcha, obliga a renegociar los convenios previos y a invertir tiempo y recursos en proteger o reencauzar la intervencin. Se analiza de acuerdo con la percepcin de los coordinadores del equipo. Vacos y superposicin de funciones: con respecto a la descentralizacin existe un marco normativo confuso, con algunas competencias y funciones que no son precisadas, ocasionando superposicin y conflicto entre la instancia nacional y las instancias regionales y locales. Los vacos no permiten tener un soporte legal slido para los objetivos que se vayan alcanzando. El riesgo se agrava por la existencia de conflictos partidarios e intereses polticos. El riesgo se presenta ms pronunciado en los niveles nacional y regional. Oposicin de gremios: en la medida en que buscan asegurar la estabilidad laboral de los docentes en servicio, los gremios se resisten a los procesos relacionados con la formacin en servicio y la evaluacin del desempeo docente y el aprendizaje de los alumnos. Su impacto es notorio en el mbito regional. Falta de presupuesto: dado que aproximadamente el 80% del presupuesto regional se encuentra comprometido con gastos fijos, principalmente el pago de planillas, resta poco margen para la implementacin de programas sociales en las regiones; esto, sumado a los formatos rgidos del Sistema Nacional de Inversin Pblica (SNIP), dificulta el acceso a los pocos recursos existentes para la inversin pblica en educacin. Coyuntura electoral: las elecciones del 2006, tanto presidenciales como regionales, han instado a algunas autoridades que toman las decisiones a comportarse segn criterios partidarios y proselitistas, restndole prioridad al trabajo educativo o teniendo un objetivo utilitario de corto plazo.

37

En la prctica, los riesgos son monitoreados cada 15 das en las reuniones del equipo tcnico14. Si el riesgo adquiriera mayor poder o influencia, se procedera a una evaluacin extraordinaria, aun cuando hasta el momento tal situacin no ha llegado a ocurrir. Finalmente, como sucede con los logros intermedios y los efectos no esperados, la informacin se consolida cada cuatro meses en un boletn.
Docente desempean profesionalmente su labor educativa

Calidad tcnica de la formacin docente

Fortalecimiento de la gestin educativa


Gerentes co n intereses

Formulacin participativa de polticas educativas

Nacional
de to ta Fal pues u s e pr

Desarrollo capacidades direccin nacional de formacin y capacitacin docente

Vacos y superposicin de funciones

Regional

Desarrollo capacidades instancias descentralizadas


Politizacin de cargos

Desarrollo capacidades instancias de participacin Gestin polticas educativas regionales


in al tac R o erson p de

Desarrollo institucional de instituciones pedaggicas

Local
Tratamiento de lenguas

Oposici n del SUTE P

Desarrollo de competencias interculturales

rea de efectos no esperados


Esta rea se refiere a los cambios positivos o negativos que pudieran generarse como consecuencia del programa y que no fueron planificados inicialmente. Cuando se registran los cambios planificados tambin se indaga por aquellos que no lo estuvieron y que sin embargo estn presentes, al igual que por la manera como estos afectan la marcha del programa; lo que se busca es aprovecharlos si son positivos o aligerarlos en el caso de que sean negativos. De manera similar a como ocurre con los riesgos, en la prctica los efectos imprevistos son monitoreados quincenalmente en las reuniones del equipo tcnico y se suele consolidar la informacin cada cuatro meses, a partir de las fichas-informe y entrevistas a los coordinadores del programa.

14

El registro es parte de la ficha-informe que se usa para las reuniones tcnicas (anexo 1).

38

3.4 Implementacin del SMOI de PROEDUCA


El monitoreo, por definicin, es una tarea que implica un seguimiento continuo de los procesos para orientarlos hacia los impactos y exige a su vez evaluaciones de cmo se est impactando con la intervencin. El SMOI de PROEDUCA tiene tres maneras de monitorear las cuatro reas de observacin propuestas como parte del sistema: Cada quince das hay una reunin del equipo tcnico, en la cual se discuten las estrategias y avances en las lneas de accin que se vienen trabajando en cada regin, se analizan los cambios coyunturales, los riesgos y efectos no esperados, se recoge retroalimentacin de todo el equipo y se toman decisiones de manera conjunta. El instrumento usado es una ficha-informe (anexo 1) y el producto de cada reunin es un acta de acuerdos. Cada cuatro meses, la unidad de monitoreo recopila informacin sobre la consecucin de los logros intermedios, as como tambin de los factores que facilitan o dificultan dicha consecucin. El producto es un boletn que es revisado por el director y el coordinador del programa y que luego es discutido en la reunin del equipo tcnico, para tomar las decisiones correspondientes a cada lnea de accin15. Cada coordinador discute los resultados con sus respectivas contrapartes. Los insumos son las fichas-informe presentadas quincenalmente y una encuesta aplicada a cada miembro del equipo. Cada ao se recoge informacin sobre los indicadores de componente y de programa. Cada indicador es analizado independientemente en funcin de la lnea basal y el boletn de logros intermedios. Los resultados son presentados y discutidos en un taller y sirven de insumo para el informe al BMZ. Tambin son discutidos entre los coordinadores y las contrapartes para recibir retroalimentacin.

Responsables del SMOI


La unidad de monitoreo y evaluacin (M&E) es la responsable de disear y coordinar la ejecucin del Sistema de Monitoreo Orientado hacia los Impactos. Respecto al diseo, propone las reas, a los responsables y los periodos de recoleccin de la informacin para el sistema de monitoreo. En lo que respecta a la ejecucin, la unidad coordina el acopio de informacin de cada una de las reas, segn lo programado, procesndola y elaborando informes para la toma de decisiones. Sin embargo, dadas las caractersticas de algunas reas y para crear una mayor cultura de monitoreo y capacidad logstica, la responsabilidad de recopilar la informacin correspondiente a algunas reas ha sido distribuida entre los coordinadores,
15 El boletn, adems, contiene aspectos administrativos, relaciones y sinergias entre equipos, relacin con la contraparte y funcionamiento como grupo.

39

siempre con el apoyo tcnico de la unidad de monitoreo. Esto se detalla en el cuadro siguiente:
Indicadores de observacin 1, 2, 3, 4, 5 10, 13, 14 6, 7, 10, 14, 15, 16 8, 9, 10, 12, 14 Logros intermedios Riesgos Responsable de recojo de informacin M&E Coord. del nivel nacional Coord. del nivel regional Responsable de procesamiento e informe

M&E
Coord. del nivel local Coord. nacional, regional, local Coord. nacional, regional, local

Cronograma del SMOI


De acuerdo con las responsabilidades y los espacios de monitoreo, el cronograma anual del SMOI puede representarse como sigue:

ENE Reporte de logros intermedios Reporte de riesgos Reporte efectos no esperados Recojo informacin indicadores comp. Taller PROEDUCA Taller contraparte Informe BMZ

FEB

MAR

ABR

MAY

JUN

JUL

AGO

SET

OCT

NOV

DIC

X X X

X X X X

X X X X X X X

Destinatarios de los informes del SMOI


Los informes elaborados por la unidad de monitoreo cumplen una mltiple funcin. En primer lugar, sirven como herramienta de gestin para los responsables de tomar decisiones y las contrapartes de PROEDUCA-GTZ, pero tambin como insumo para informar y legitimar la intervencin frente a financiadores y otras instituciones relacionadas con el tema.

40

Como reporte sobre impactos y herramienta de gestin del programa, es de utilidad para la direccin de PROEDUCA-GTZ, los coordinadores del equipo y las contrapartes. Como reporte de impactos que buscan una legitimacin, sirve para el Ministerio de Desarrollo Alemn, la GTZ central y el Ministerio de Educacin peruano. Como reporte de difusin de alcances del programa, puede ser aprovechado por otros organismos de cooperacin bilateral y multilateral, al igual que por organizaciones vinculadas al campo educativo.

3.5 El SMOI de PROEDUCA y otros sistemas de monitoreo


El SMOI de PROEDUCA-GTZ aprovecha y se complementa con la informacin de los sistemas de monitoreo que se fomentan desde la GTZ.

El SMOI y el Sistema de Monitoreo de Portafolio ( SMP )


El Sistema de Monitoreo de Portafolio (SMP) tiene como objetivo monitorear y legitimar el trabajo que desarrolla la GTZ en el Per. De los aspectos que examina, reviste mayor importancia para el SMOI de PROEDUCA el rea de temas transversales y la cooperacin con otros programas. Respecto al primero, se recopila informacin sobre cmo los enfoques de gnero, participacin, interculturalidad y VIH/sida son incluidos en las actividades de los programas de la GTZ en el Per. Con relacin a la cooperacin con otros programas, PROEDUCA recoge las sinergias y acciones conjuntas realizadas entre los diversos programas de la GTZ en el Per: Gobernabilidad, Desarrollo Rural y Agua. La informacin recogida con los instrumentos del SMP se incorpora en los informes y los talleres del SMOI.

El SMOI y el e- VAL
El e-VAL (del alemn, elektronische Evaluierung) es una metodologa cualitativa que permite analizar si el programa se enfoca hacia los objetivos, detectar sus impactos indirectos y describir la percepcin que tienen las contrapartes de l. PROEDUCA utiliza la informacin brindada por el e-VAL para complementar y contrastar la informacin recogida a travs del SMOI.

41

42

4. Reflexiones finales y lecciones aprendidas


El modelo del SMOI hasta aqu expuesto es el resultado de un trabajo conjunto del equipo de PROEDUCA-GTZ que no ha estado exento de dificultades, debates, marchas, contramarchas y frustraciones. De hecho, creemos que se trata de un modelo que an sigue redefinindose y alimentndose de la experiencia que la ejecucin pueda brindar. Varias dudas todava quedan por resolver y en otros casos hemos optado por tomar algunas posiciones, aun cuando sabemos que tal hecho puede suscitar debate. Todo forma parte del crecimiento. En esta seccin queremos dar testimonio de algunas lecciones aprendidas y presentar algunas reflexiones que pueden surgir de intervenciones como la nuestra y bajo el paradigma de la orientacin hacia los impactos.

La replanificacin de un programa mientras se ejecuta otro ya planificado


Uno de los hechos que ms ha demandado paciencia y casi un desdoblamiento de parte del personal que trabaja en PROEDUCA-GTZ ha sido el tener que continuar con las actividades del programa previstas para su primera fase (2002-2004) a la vez que se planificaba otra propuesta, correspondiente al nuevo paradigma de orientacin hacia los impactos y a la coyuntura de la descentralizacin. Para el equipo, ello signific trabajar en forma paralela; y para la contraparte, una confusin sobre la dinmica que se viva dentro del equipo. Esto ha tenido costos que, no obstante, se busc aminorar. Por un lado, fue necesario redefinir con algunas contrapartes las relaciones y los planes de trabajo que se estaban ejecutando. Por otro lado, hubo que cerrar procesos iniciados y no culminados como se haba planificado. De hecho, an quedan algunas tareas pendientes de cumplimiento. En este proceso, la respuesta tcnica y personal del equipo de PROEDUCA ha sido eficiente: se pudo cerrar a tiempo actividades con las contrapartes que no se iban a continuar y se mostr total disposicin para acogerse y colaborar con la nueva oferta.

La experiencia bajo un nuevo paradigma


La replanificacin bajo el paradigma de la orientacin hacia los impactos ha significado para el equipo asumir nuevos conceptos y herramientas, a la vez que se dejaban otros de lado. Ello ha demandado mucha atencin y comprensin: vencer resistencias

43

al cambio, sobre todo cuando una corriente de percepcin interpretaba el nuevo paradigma como ms de lo mismo, o cuando mucho de lo nuevo que se discuta no contaba con definiciones o metodologas claras. Creemos que an no existe una versin definitiva de cmo se va estructurando este nuevo paradigma en el aspecto conceptual y metodolgico. Cmo deben trabajarse las cadenas?, se construyen desde los objetivos de componente o desde las actividades mismas?, cmo orientar las actividades hacia los impactos?, es realmente un sistema de monitoreo?, qu es un impacto?, qu es la brecha de atribucin? Entre otras, son preguntas que nos planteamos luego de revisar experiencias de otros programas, y de encontrar respuestas que pueden variar sutil o sustancialmente unas de otras. En esa lnea, PROEDUCA-GTZ busca propiciar con el SMOI el debate y la precisin de algunos conceptos.

Realmente un nuevo paradigma?


Debido a que an no est consolidado, el modelo de orientacin hacia los impactos deja muchos vacos de interpretacin. Uno de ellos es creer que en realidad no se trata de un cambio paradigmtico. La lgica de la orientacin hacia los impactos o la cadena de impactos no seran sino una forma diferente de presentar la primera columna de la matriz de planificacin de proyectos (MPP). Como es sabido, dicha columna sigue una lgica vertical de causas y efectos que parte desde las actividades y llega hasta el objetivo general. Dicho de otro modo, la cadena de impactos contiene la lgica vertical de la MPP realizada de manera ms rigurosa y explcita. Por otro lado, el monitoreo de las actividades o productos ha sido entendido usualmente como el viejo monitoreo, que consiste en seguir el cumplimiento del POA. Sin tener clara la orientacin hacia los impactos o no sabiendo cmo actuar en la prctica, el SMOI ha sido visto por algunos como un conjunto de monitoreos a los cuales se ha agregado la tarea de evaluacin ex ante y ex post del programa. As, el SMOI en la prctica no sera ms de lo mismo que se ha venido realizando en aos pasados. Debemos reconocer que incluso los integrantes del propio equipo de PROEDUCAGTZ guardan opiniones encontradas al respecto, pero, aun as, hay una apuesta institucional de brindarle prctica al discurso que se tiene sobre la orientacin hacia los impactos. Ese esfuerzo es vlido y suponemos que servir, si no al programa actual, a los que vendrn ms adelante.

44

Elaboracin de las cadenas de impacto


La construccin de las cadenas de impacto ha sido una labor difcil que ha demandado ms tiempo del previsto por el equipo del programa, teniendo en cuenta adems que la oferta iniciada en su primera fase cambi en la segunda, bajo el nuevo enfoque de orientacin hacia los impactos. Se ha observado que cuanto ms claro sea el diseo de intervencin, mayor facilidad habr para elaborar las cadenas de impacto y detectar las relaciones de causa-efecto. Por ello se percibe una asociacin entre la experiencia del coordinador de componente y la facilidad para trazar la cadena de impacto. Desde la unidad de monitoreo hemos tenido mucho aprendizaje sobre cmo construir estas cadenas y hemos podido percibir otras formas de construccin que se emplean en otros programas. Creemos que no existe an una metodologa clara para construirlas, sino ms bien consignas generales de cmo hacerlo. Se parte desde las actividades en un ejercicio de abajo arriba o es mejor partir del objetivo del programa en un proceso ms deductivo?, se trazan cadenas por actor o es mejor hacerlo por componente?, cul es un nmero o rango ideal de cadenas?, importa que las cadenas de impacto vayan desde los objetivos de componente hasta las actividades, o es ms bien un ejercicio que debe ir desde el objetivo de componente hasta el objetivo del programa? Desde PROEDUCA-GTZ abogamos por algunas conclusiones: las cadenas son ms tiles si se construyen ms por actor que por componente; su nmero no debe ser mayor de 10; las cadenas son instrumentos de planificacin y deben revisarse peridicamente.

La rutina laboral frente a la orientacin hacia los impactos


A pesar de los esfuerzos por orientar la intervencin hacia los impactos, otro problema comn que se ha detectado es que la rutina de las actividades, la cotidianeidad y la inercia del trabajo diario pueden llevar a perder de vista los impactos. No cabe estar preguntndose constantemente sobre el sentido de las actividades. Guiados principalmente por resultados inmediatos, se pierde la visin de los impactos; se hacen trabajos efectivos y eficaces en el tema educativo, pero ajenos a los impactos buscados. Es cuando el monitoreo, las cadenas de impacto y el ejercicio del para qu de nuestras acciones han jugado un papel importante.

Indicador orientado hacia los impactos


Especial atencin merece la creacin de un espacio para discutir acerca de los indicadores. Si lo que se busca es brindar una orientacin hacia los impactos, la definicin y elaboracin de los indicadores merecen ser reformuladas.

45

Un primer aspecto que cabe destacar es que los indicadores deben establecerse con relacin al impacto y no a los productos y servicios; solo as estaramos hablando de indicadores orientados hacia los impactos. Dicha afirmacin implica, por un lado, que los indicadores se siten partiendo del objetivo de componente y, por otro lado, que no slo remitan a lo que se espera en el objetivo, sino a las utilidades derivadas del hecho de alcanzarlo; por ejemplo, si el objetivo es mejorar la gestin educativa, no (slo) debera haber indicadores que reflejen dicha mejora, sino tambin las utilidades que pudiera generar tal objetivo.

La necesidad de monitorear procesos y logros intermedios


Una leccin aprendida que se desprende de lo anterior es la necesidad de implementar un monitoreo de hitos o logros intermedios. Si se plantea que los indicadores de componente y de programa deben situarse en los objetivos de componente o por encima de ellos, es preciso contar con mecanismos que orienten la intervencin, los productos y servicios que se van generando, sobre todo si las cadenas de impacto son muy extensas desde la base hasta la consecucin de objetivos. Monitorear logros intermedios implica, entonces, revisar las cadenas de impacto, establecer hitos, crear indicadores intermedios y monitorearlos con aporte sustantivo de informacin cualitativa.

La intervencin para responder a los indicadores


Una de las dificultades detectada es que la ejecucin de algunas actividades planificadas responde directamente ms a los indicadores que a los objetivos o el sentido de los componentes. Se ha observado, en algunos casos, una exagerada preocupacin por alcanzar y responder a los indicadores que acaba por desvirtuar el sentido de la orientacin hacia los impactos. Se debe enteder que una intervencin no debera responder a los indicadores, sino estos a la intervencin. Los indicadores son un reflejo de todo el trabajo que se viene realizando, y las actividades que exclusivamente buscan responder a un indicador son ms bien aisladas y no corresponden a una lnea de accin ni a un componente.

La creacin de una cultura de monitoreo


La bsqueda de una cultura de monitoreo ha sido y sigue siendo un reto. El monitoreo persiste en el ideario de las personas como tareas externas, evaluadoras, que, aunque necesarias, resultan incmodas y demandan tiempo. Es percibido ms como una colaboracin que como una responsabilidad. La labor es ms difcil tratndose de las contrapartes, acostumbradas a la supervisin y fiscalizacin de sus tareas por parte

46

de funcionarios centralistas y de posicin jerrquica. Esperamos que la orientacin hacia los impactos permita resignificar el sentido del monitoreo y contribuir a crear una cultura afn. Un aspecto importante en dicha cultura es la necesidad de que las personas involucradas aprueben, difundan, se apropien de y se responsabilicen por el modelo del sistema de monitoreo orientado hacia los impactos. La existencia de un documento que fundamente y explique este sistema, junto con las responsabilidades y el tipo de informacin requerida, sumados al apoyo de la direccin y coordinacin del programa son elementos que apuntan a esta apropiacin del SMOI. La idea es que este finalmente sea asumido como una responsabilidad que cuente con la participacin y el respaldo de todos.

Necesidad de un lenguaje comn


El trabajo de campo, las discusiones con diversos expertos y la revisin bibliogrfica nos demuestran que existe un conjunto de trminos y conceptos que varan, evidenciando una falta de lenguaje comn en el contexto del monitoreo y la evaluacin de proyectos. Es ms, teniendo un lenguaje comn, la puesta en prctica de los sistemas de monitoreo orientado hacia los impactos difiere en cada caso. En gran parte porque el marco de este nuevo paradigma se encuentra an en definicin. Hasta qu nivel cabe discutir sobre conceptos, herramientas y sistemas de monitoreo? Qu nivel de consenso debe haber entre programas de la GTZ o con las contrapartes? Es necesario el consenso? Qu significa y cul es la diferencia de trminos como efecto, impacto, resultado y cambio? La orientacin es hacia los impactos o hacia los resultados? Qu son y en qu se diferencian trminos como monitoreo, supervisin, seguimiento y evaluacin? Qu es la brecha o vaco de atribucin? Varios usos de conceptos relativos a la planificacin y el monitoreo son presentados aqu, principalmente en el glosario, seguros de que habr coincidencias y diferencias. Por otro lado, importa que un sistema oriente hacia los impactos antes que crear consensos. Sistemas de monitoreo como el expuesto en este documento son tiles, pero no constituyen modelos nicos para seguir. Es probable que las discusiones, confusiones y diferencias continen por el hecho de pertenecer a la primera generacin de programas ejecutados bajo el enfoque de orientacin hacia los impactos. Sin embargo, el debate nutre y este documento se debe y aporta mucho a ello.

47

48

Glosario
El siguiente glosario ha sido organizado en funcin de tres reas temticas: planificacin de programa, cadenas de impacto y monitoreo y evaluacin.

Planificacin de programa
Componente. Campo temtico de un programa que se desprende de la cadena de impacto y tiene como objetivo producir un impacto estratgico temporalmente previo al objetivo del programa. Contraparte. De acuerdo con la GTZ, las contrapartes son las organizaciones del pas contraparte que planifican y ejecutan un proyecto o programa. Las organizaciones contraparte son los clientes del asesoramiento y los receptores de las prestaciones de la GTZ. Debe diferenciarse entre dichas organizaciones y los beneficiarios del programa o grupo meta. Eje transversal. Enfoque estratgico que se busca incluir en todos los niveles y componentes de un programa debido a su relevancia como problema a escala mundial, independientemente del tipo de intervencin que se realice. Son enfoques transversales de la GTZ: gnero, VIH/sida, medio ambiente, participacin y resolucin de conflictos. Son enfoques transversales priorizados por PROEDUCA: gnero, participacin, VIH/sida e interculturalidad. Grupo meta. Tambin llamado grupo beneficiario o grupo objetivo, es el conjunto de personas o instituciones que se benefician directamente de un programa, y motivo por el cual se desarrolla una intervencin. Desde el punto de vista de las instituciones donantes, las organizaciones contraparte actan como intermediarias entre ellas y las personas de los pases contraparte que se pretende beneficiar con la cooperacin tcnica. Indicador. Medida en trminos cuantitativos, cualitativos y cronolgicos que muestra evidencia fiable y observable del grado de impacto que est siendo alcanzado. Permite ver el progreso hacia la consecucin de los objetivos. Lnea de accin. Conjunto de actividades, servicios, productos e impactos relacionados entre s y referidos a un determinado actor, nivel y componente. Logro intermedio. Impactos a corto plazo necesarios para alcanzar los objetivos de componente y de programa. Se refiere a los productos, servicios y condiciones que deben existir para desatar impactos.

49

Riesgo. Factor externo que escapa a la influencia del proyecto, pero que s puede tener una incidencia significativa en la cadena de impactos, lo cual exige su observacin.

Cadenas de impacto
Actividad. Acciones desarrolladas por un programa para obtener un producto o servicio. Brecha de atribucin. Espacio donde los impactos no pueden ser directamente atribuibles a la intervencin de un programa debido a la influencia de factores ajenos a su control. Cadena de impacto. Herramienta que permite ver relaciones de causa y efecto en la intervencin de un programa. Cambio. Trmino genrico que significa transformacin. De manera general, todo produce cambios y, por lo tanto, estos pueden ser intencionales, no intencionales, esperados, inesperados, positivos o negativos. Pueden provenir de la intervencin o de factores externos a ella. Efecto. Sinnimo de impacto. Para algunos es un cambio debido a la intervencin pero que, a diferencia del impacto, no tiene un carcter de intencionalidad. Impacto. Tiene hasta tres definiciones: (i) tipo de cambio esperado e intencional que est en estrecho vnculo con la intervencin; son cambios que se pueden atribuir a sta de manera intencional e incluyen los productos, servicios, usos y la utilidad directa, indirecta y agregada; concepto similar a lo que algunos autores llaman resultado. (ii) Cambio atribuible a un programa de caracterstica intencional, no intencional, positiva o negativa; concepto ms amplio similar al de cambio. (iii) Cambio indirecto, utilidad agregada o efecto indirecto que se encuentran ms all de la brecha de atribucin; concepto ms restringido que los dos anteriores. Producto. Se refiere a lo tangiblemente obtenido luego de una o ms actividades realizadas por un programa. Alude ms a la finalizacin de las actividades que a su realizacin o generacin. Los productos y servicios son tambin llamados resultados. Resultado. Tiene al menos dos definiciones: (i) productos y servicios que sern posteriormente usados por las contrapartes; (ii) trmino amplio que abarca todo cambio producido por la intervencin de un programa, incluyendo productos, efectos e impactos. Esta perspectiva correspondera a lo que otros autores llaman impacto. El paralelo entre resultado e impacto se presenta en el siguiente cuadro:

50

Resultados
Cadena de resultados Resultados Vaco de atribucin Aprovechamiento Impacto

Impactos
Cadenas de impactos Impactos Brecha de atribucin Uso/utilidad Utilidad agregada

Vaco de atribucin. Trmino usado por algunos autores para referirse a la brecha de atribucin.

Monitoreo y evaluacin
Evaluacin. Valoracin sistemtica y rigurosa que se realiza para medir el logro de los objetivos de un programa. Generalmente la evaluacin busca medir los impactos de un programa, responder a qu se ha logrado o qu tanto se ha logrado. Usualmente se realizaba por instituciones externas, sin embargo, bajo el modelo del SMOI conforma parte de reas del monitoreo de un programa. Ex ante. Evaluacin que se hace antes de la intervencin de un programa y constituye la lnea de base del mismo. Tambin se le conoce como pre-test o prueba preliminar. Ex post. Evaluacin que se realiza luego de finalizada la intervencin para comparar con la evaluacin ex ante y demostrar de manera cuantificable los logros e impactos de una intervencin. Tambin llamada post-test o prueba posterior, aunque algunos autores la sealan como una evaluacin aun ulterior en el tiempo al trmino de la intervencin. Lnea de base. Evaluacin que se realiza antes o al inicio de un programa con la finalidad de tener una medida de comparacin cuando termine una fase o el programa mismo. La lnea de base describe el punto de partida de una determinada situacin que ser intervenida con un programa. Monitoreo. Proceso continuo de observacin, anlisis y toma de decisiones que permite llegar peridica y sistemticamente a acuerdos sobre los avances en la implementacin de una intervencin. A diferencia de la evaluacin, el monitoreo es una herramienta de gestin que se aplica a lo largo de toda la intervencin, mientras que la evaluacin representa un corte de tiempo en un momento determinado de la intervencin.

51

Monitoreo
Foco en procesos Usualmente interno Continuo Usualmente durante intervencin

Evaluacin
Foco en logros Usualmente externa Espordica Usualmente al inicio y fin de intervencin

Monitoreo de actividades. Procesos de comprobacin que tienen como objetivo seguir el cumplimiento de lo ejecutado en concordancia con lo planificado. Segn el modelo del SMOI, es un componente que puede ser prescindible o estar bajo responsabilidad de los propios ejecutores. Monitoreo de impactos. Seguimiento de los cambios ocurridos debido a la intervencin de un programa. Para algunos, coincide con la definicin de evaluacin. Actualmente, constituye un rea importante del SMOI. Monitoreo orientado hacia los impactos (SMOI ). Modelo de comprobacin que establece indicadores, instrumentos y responsabilidades para orientar la intervencin del programa hacia el logro de los impactos. Incluye el monitoreo de actividades, resultados e impactos.

52

Siglas
ACDI AECI AURA BMZ CNE COPARE CT DINFOCAD DNC DRE EIB e-VAL FD FC GR GTZ ISP IFD MED M&E MPP PDRS PEI PER PLANCAD POA PROFODEBI PROFOGED Agencia Canadiense para el Desarrollo Internacional Agencia Espaola de Cooperacin Internacional Auftragsrahmen - Marco de encargo Ministerio de Cooperacin Econmica y Desarrollo Consejo Nacional de Educacin Consejo Participativo Regional Cooperacin tcnica Direccin de Formacin y Capacitacin Docente Diagnstico de Necesidades de Capacitacin Direccin Regional de Educacin Educacin Intercultural Bilinge Elektronische Evaluierung - Evaluacin electrnica Formacin docente Formacin continua Gobierno regional Gesellshaft fr Technische Zusammenarbeit - Cooperacin tcnica alemana Instituto superior pedaggico Instituto de formacin docente Ministerio de Educacin Monitoreo y evaluacin Matriz de Planificacin de Proyectos Proyecto de Desarrollo Rural Sostenible de GTZ-Per Proyecto Educativo Institucional Proyecto Educativo Regional Plan de Capacitacin Docente Programa Operativo Anual Programa de Formacin Docente en Educacin Bilinge Intercultural Programa de Formacin en Gestin Educativa

53

PROFORMA SFC SMOI SMP SNIP SUTEP UNESCO

Programa de Formacin Magisterial Sistema de Formacin Continua Sistema de Monitoreo Orientado hacia los Impactos Sistema de Monitoreo de Portafolio Sistema Nacional de Inversin Pblica Sindicato Unitario de Trabajadores de la Educacin del Per United Nations Educational, Scientific and Cultural Organization Organizacin de las Naciones Unidas para la Educacin, la Ciencia y la Cultura Unidad de Medicin de la Calidad Educativa del MED United States Agency for Internacional Development - Agencia de los Estados Unidos para el Desarrollo Internacional Zielorientierte Projekt-Planung - Planificacin de Proyectos Orientada a Objetivos

UMC USAID ZOOP

54

Bibliografa
AGENCIA CANADIENSE PARA EL DESARROLLO INTERNACIONAL (ACDI) (2000). Results-Based Management Handbook on Developing Results Chain. En lnea: <http://www.acdicida.gc.ca>. AGENCIA DANESA PARA EL DESARROLLO INTERNACIONAL (DANIDA) (1999). Evaluation Guidelines. Ministry of Foreign Affairs. En lnea: <http://www.um.dk>. AGENCIA ESPAOLA DE COOPERACIN INTERNACIONAL (AECI) (2001). Metodologa de la evaluacin de la Cooperacin Espaola (AECI). En lnea: <http://www.maec.es>. AGENCIA SUIZA PARA EL DESARROLLO Y LA COOPERACIN (COSUDE) (1999). Indicadores y preguntas claves. Serie de cuadernos temticos sobre planificacin, evaluacin, monitoreo y aplicacin. Berna: COSUDE. En lnea: <http://www.deza.ch>.. (2000). Evaluacin externa - Hacemos lo correcto? Lo hacemos correctamente? Serie de instrumentos de trabajo para planificacin, evaluacin, monitoreo, y aplicacin (PEMA). Berna: COSUDE. En lnea: <http://www.deza.ch>. BANCO MUNDIAL (2004). Seguimiento y evaluacin. Instrumentos, mtodos y enfoques. En lnea: <http://www.bancomundial.org>. BERGMANN, Herbert (2003). Monitoring Handbook. Documento interno. (2005). Basic Education Improvement Programme of Yemen (BEIP-GTZ). Documento interno. CASTRO, Marco (2003). Sistema de Monitoreo de Impacto del Programa FORTALECE GTZ/ MINEC. Documento indito. CENTRO AGRONMICO TROPICAL DE INVESTIGACIN Y ENSEANZA (CATIE) (2003). Diseo e implementacin de un programa de monitoreo. Seccin 2: La gua de monitoreo ecolgico. En lnea: <http://www.catie.ac.cr>. CUBA, Vctor (2002). Diseo de proyectos y programas sociales. Una mirada estratgica. Lima: GTZ. CUENCA , Ricardo y CARRILLO, Sandra (2001). El sistema de monitoreo y evaluacin del PLANCAD. Lima: PLANCAD-GTZ-KfW. DEPARTAMENTO DE DESARROLLO INTERNACIONAL (DFID) (2005). Guidance on Evaluation and Review for DFID staff. En lnea: <http://www.dfid.gov.uk>. FIDAMERICA (s/f). Gua FIDA para el seguimiento y evaluacin de proyectos. Gestin orientada al impacto en el desarrollo rural . Vol. 1, secciones 1-8. En lnea: <http:// www.fidamerica.cl>.

55

GERMAN, Elizabeth; LOZANO, Ruth y SANZ, Pilar (2002). Plan de monitoreo y evaluacin en la formacin docente en educacin bilinge intercultural. Documento de trabajo 22. Lima: PROFODEBI-GTZ. GERMANN, Dorsi y GOHL,Eberhard. Monitoreo participativo de impacto. Folleto 2, Monitoreo de impactos a travs de la ONG. Eschborn: GATE-GTZ-FAKT. GTZ (1998). El seguimiento en los proyectos de cooperacin tcnica. Unidad 4: Estrategia de Desarrollo de la Empresa. Eschborn: GTZ. (2004). El mundo de los conceptos de la GTZ. En lnea: <http://www.gtz.de>. (2004). Monitoreo basado en resultados. Gua para los proyectos y programas de cooperacin tcnica. Eschborn: GTZ. HERWEG, Karl y STEINER, Kurt (2002). Monitoreo y valoracin del impacto. Instrumentos a usar en proyectos de desarrollo rural con un enfoque en el manejo sostenible de la tierra. Vol. 1: Procedimiento. Eschborn: CDMZ y GTZ. MANAGEMENT FOR DEVELOPMENT FOUNDATION (1993). Manual de gestin. El ciclo de un proyecto. Enfoque integrado y marco lgico. Serie Mtodos e Instrumentos para la Gestin del Ciclo de un Proyecto. Bosrand: Comisin de las Comunidades Europeas. MINISTERIO DE EDUCACIN (2004). Cifras de la educacin 1998-2003. Lima: Unidad de Estadstica Educativa, Secretara de Planificacin Estratgica. (2005). Indicadores de la educacin. Per 2004. Lima: Unidad de Estadstica Educativa, Secretara de Planificacin Estratgica. (2006). Perfiles educativos regionales. Principales indicadores para el seguimiento de Proyectos Educativos Regionales. Lima: Unidad de Estadstica Educativa, Unidad de Medicin de la Calidad Educativa, Aprendes, USAID-Per, Academy for Educational Development. NAVARRO, Hugo (2005). Manual para la evaluacin de impactos de proyectos y programas de lucha contra la pobreza. Santiago de Chile: ILPES-CEPAL. NELL, M. y SHAPIRO, J. (2001). Impact Monitoring: Tools, Instruments and Methods. The Technical Network for Economic Development and Employment Promotion. Sandton, Sudfrica: GTZ. PODGURSKI, Petra (2002). Apoyo a la creacin de un sistema de monitoreo. San SalvadorEschborn: FORTALECE-GTZ. PROGRAMA DE LAS NACIONES UNIDAS PARA EL DESARROLLO (PNUD) (2002). Manual de seguimiento y evaluacin de resultados. En lnea: <http://www.undp.org>. PROGRAMA DESARROLLO RURAL SOSTENIBLE (PDRS) (2004). SMOI. Responsabilidad de todos. Gua para el Sistema de Monitoreo Orientado hacia Impactos en el Programa Desarrollo Rural Sostenible (PDRS). Documento interno. Lima: PDRS/GTZ.

56

RAWLINGS , Laura (2004). Diseo y objetivos de la evaluacin de impacto. Segundo taller internacional de programas de transferencias. Sao Paulo: Banco Mundial. En lnea: <http://www1.worldbank.org>. VAHLHAUS, Martina (2000) Marco de orientacin para el monitoreo de impacto en proyectos de fomento de la economa y del empleo con especial consideracin del impacto en la reduccin de la pobreza. Parte I: Por qu es necesario el monitoreo de impacto? Un Instrumento orientador. Eschborn: GTZ. VALHAUS, M. y KUBY, T. (2000). Marco de orientacin para el monitoreo de impacto en proyectos de fomento de la economa y del empleo con especial consideracin del impacto en la reduccin de la pobreza. Parte II: Cmo introducimos y ejecutamos el monitoreo del impacto? Indicaciones, mtodos e instrumentos para la implementacin y ejecucin. Eschborn: GTZ.

57

58

Anexos
1. Ficha-informe 2. Reporte de indicadores 3. Indicadores del programa y componentes

59

60

Anexo 1

Ficha de informe N. ___


NIVEL: Nacional Regional Local

PERIODO: del ____/____/____ al ____/____/____ I. Cada 15 das:


Lnea de accin: _____________
1. Actividades principales

Lnea de accin: _____________


1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal

Lnea de accin: _____________


1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal

Lima Madre de Dios Huancavelica Piura Lambayeque

2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal 1. Actividades principales 2. Logros 3. Dificultades 4. Enfoque transversal

Registre de acuerdo a la lnea de accin y regin que ha trabajado en los siguientes aspectos: 1) Anote las actividades, servicios y productos desarrollados. 2) Anote, logros e impactos alcanzados. 3) Registre dificultades encontradas. 4) Anote si alguna actividad o enfoque de gnero e intercultural ha sido aplicado. Si no existe nada que reportar en 2, 3 y 4, anote el nmero seguido de NR.

II. Cada 4 meses:

ALCANCE DE LOGROS E IMPACTOS:

Cmo evala el alcance de los siguientes logros intermedios e impactos? Marque para cada tem y regin segn la escala siguiente: 10 20 30 40 50 60 70 80 90
100

Huancavelica Logro intermedio 1 Logro intermedio 2 Logro intermedio 3 Logro intermedio 4 Logro intermedio 5 Logro intermedio 6 Logro intermedio n

Madre de Dios

Piura

Lambayeque

III. Cada vez que ocurra:


PRESENCIA DE RIESGOS:
Marque si un riesgo latente ha influido en su trabajo de nivel. De no ser as, marque la opcin Ninguno 1) Rotacin de personal 2) Politizacin de cargos pblicos 3) Vacos y superposiciones de funciones 4) Oposicin de gremios Especificar brevemente regin, problema y efecto real o posible en el trabajo: 5) Falta de presupuesto 6) Coyuntura electoral 7) Otro 8) Ninguno

EFECTOS NO ESPERADOS:
1) S 2) No

Si marca S, especifique brevemente regin y el efecto no esperado (negativo o positivo):

OBSERVACIONES, OTROS EVENTOS:

INDICADOR 6:
COMPONENTE OBJETIVO DE COMPONENTE

Anexo 2
Oferta de Programas de Formacin en Servicio segn Diagnstico de Necesidades y Demandas de Capacitacin
I. Calidad tcnica y de contenidos en la Formacin y Capacitacin Docente Las instituciones y entidades estatales vinculadas a la formacin docente mejoran la calidad de la formacin docente, inicial y en servicio, a nivel nacional, regional y local Porcentaje de programas de formacin en servicio para el nivel primario ofertados por las DRE, UGEL e IFD que responden en sus objetivos, lneas estratgicas y desarrollo de contenidos a por lo menos tres prioridades temticas identificadas en el Diagnstico de Necesidades y Demandas de capacitacin realizado en cada regin

INDICADOR

NIVEL

Regional

LNEA DE ACCIN

Desarrollo de capacidades de instancias descentralizadas; Desarrollo Institucional de Instituciones Pedaggicas 1. Poblacin: Direccin Regional de Educacin (DRE). La informacin fue proporcionada por funcionarios de esta instancia. 2. Instrumentos: Encuesta 3. Muestra: No aplica

FICHA METODOLGICA DEL INDICADOR

4. Tamao de muestra: No aplica 5. Margen de error: No aplica 6. reas de anlisis: I. II. Diagnstico de necesidades y demandas de capacitacin Oferta de programas de formacin en servicio

7. mbito geogrfico: Piura, Madre de Dios, Huancavelica, Lambayeque

EJECUTORES

M&E Setiembre-octubre 2004

APLICACIN

COSTO APROX.

Ninguno. Fue reportado va correo electrnico y fax.

VALOR 2004

A octubre del 2004, los programas de formacin en servicio regulados por la DRE no responden a prioridades temticas identificadas en el diagnstico de necesidades y demandas de capacitacin realizado en cada regin dado que este no existe.

Reporte Lnea Base Equipo M&E. Marzo 2005

Anexo 3
Indicadores del Programa PROEDUCA
Objetivo de programa: Los docentes en servicio desempean profesionalmente su labor educativa en escuelas primarias de 4 regiones del Per. 1. Incremento de docentes muestran dominio de contenidos disciplinares de la educacin bsica en Comunicacin Integral y Matemtica. 2. Incremento de docentes que usan distintos mtodos y tcnicas de enseanza de acuerdo a las caractersticas de alumnos y a las metas de aprendizaje. 3. Incremento de alumnos satisfechos respecto al clima del aula, mtodos de enseanza y manejo de aspectos interculturales por parte de los docentes. 4. Incremento de docentes que muestran competencias interculturales en su desempeo de aula. 5. Incremento de docentes participan en la toma de decisiones sobre el diseo e implementacin del PEI. Objetivo de Componente 1: Las instituciones y entidades estatales dedicadas a la formacin de docentes mejoran la calidad de la formacin docente, inicial y en servicio, a nivel nacional, regional y local. 6. Porcentaje de programas de formacin en servicio que consideran objetivos, lneas estratgicas y desarrollo de contenidos que responden a por lo menos 3 prioridades temticas identificadas en DNC realizada en cada regin. 7. Satisfaccin de participantes de los programas de formacin para docentes en servicio que aumenta en relacin a la oferta de cursos y las condiciones de aprendizaje. 8. Porcentaje de los formadores de las IFD que responden a los criterios mnimos exigibles de un perfil profesional tcnico-pedaggico diseado para caracterizar su desempeo. 9. Porcentaje de los slabos que muestra incremento en el tratamiento de temas interculturales en los objetivos, estrategias y contenidos de los cursos. Objetivo de Componente 2: Las instituciones y entidades estatales vinculadas a la formacin docente mejoran su gestin, a nivel nacional, regional y local. 10. Porcentaje de los funcionarios vinculados a la FD de las instituciones a nivel nacional, regional y local que tienen conocimiento de sus nuevas funciones y tareas definidas por ley en el marco del proceso de descentralizacin. 11. Porcentaje de los ISP logran los indicadores mnimos exigibles de gestin. Objetivo de Componente 3: La conceptualizacin e implementacin de polticas para la formacin docente se realiza participativamente considerando la diversidad socio cultural, entre las instituciones y entidades estatales y la sociedad civil, a nivel nacional, regional y local. 13. 14. 15. 16. DINFOCAD cuenta con un documento de lineamientos de poltica para la implementacin del SFC que ha sido elaborado en consulta con actores claves de los niveles regional y local. Actores claves de los niveles nacional, regional y local tienen una percepcin positiva sobre las oportunidades de participacin en el diseo de polticas de formacin docente El Consejo Participativo Regional (COPARE) ha emitido oportunamente y segn los estndares legales requeridos informes o pronunciamientos que dan cuenta del seguimiento al PER. En cada una de las cuatro regiones por lo menos un proyecto derivado del PER e implementado por las entidades regionales responsables presenta en sus objetivos el desarrollo de un elemento de las tres caractersticas interculturales. En la implementacin de cada proyecto, la diferencia entre lo planificado y lo realizado no sobrepasa el treinta por ciento.

SE

TERMIN DE IMPRIMIR EN LOS TALLERES GRFICOS DE

T A R E A A S O C I A C I N G R F I C A E D U C AT I VA P ASAJE M ARA A UXILIADORA 156, B REA Correo e.: tareagrafica@terra.com.pe TELF. 424-8104 / 332-3229 FAX 424-1582 SETIEMBRE 2006 - LIMA, PER

Вам также может понравиться