Академический Документы
Профессиональный Документы
Культура Документы
1
SISTEMA DE MONITOREO SEGUIMIENTO Y EVALUACION DEL PROGRAMA NACIONAL DE
AGUA Y SANEAMIENTO RURAL – PRONASAR (SIMSE-PRONASAR)
MARCO CONCEPTUAL
I. Presentación
III. Marco Conceptual del Sistema de Monitoreo, Seguimiento y Evaluación del PRONASAR –
SIMSE PRONASAR
ANEXOS
2
I. Presentación
Los enfoques, principios, estrategias y procedimientos con los cuales desarrolla sus actividades se
encuentran plasmados en los correspondientes Documentos de Evaluación del Proyecto (PAD por
sus siglas en inglés), el Estudio de Factibilidad del Programa, los Convenios de Préstamos y el
Manual de Operaciones. Este último, define el marco conceptual y técnico del PRONASAR y los
niveles de responsabilidad de las instituciones y agencias involucradas en su implementación. En
consecuencia, su alcance es normativo y descriptivo.
Es normativo, porque define las responsabilidades que emergen del cumplimiento u omisión de los
procedimientos y acciones preestablecidas por cada uno de los responsables de la implementación
del Programa, aunque con flexibilidad al estar sujeto a ajustes definidos entre la UGP PRONASAR y
las misiones de supervisión por parte del Banco, en procura de lograr una mayor eficiencia en la fase
de su implementación. Es descriptivo, porque de manera enunciativa y no restrictiva, se refiere a
todas las acciones que se debe seguir para el cumplimiento de los objetivos del Programa.
En lo que se refiere al Sistema de Gestión, Monitoreo y Evaluación, se señala que este sistema
tiene el propósito de brindar soporte a la gestión del Programa apoyados en tecnologías de
información que permita mejorar la eficacia y eficiencia de los procesos mediante la
retroalimentación constante proveniente de los operadores y/o instituciones involucradas con la
ejecución de los proyectos, equipo de la UGP y beneficiarios; y contribuir a la identificación temprana
de problemas que permitan proponer nuevas estrategias, así como al aprendizaje de todos los
involucrados con el Programa.
Así mismo, al estar financiado con Recursos Públicos, el PRONASAR debe responder a los
requerimientos de seguimiento y evaluación que realiza el sector público a través del Ministerio de
Economía y Finanzas, el cual cuenta con su propia normatividad enmarcada en el Sistema Nacional
de Inversión Pública.
3
Es por ello que para consolidar los esfuerzos orientados a la obtención de información que cumpla
con las exigencias del monitoreo, seguimiento y evaluación de los avances de nuestra intervención
en función de nuestro marco lógico de acuerdo al SNIP y a los indicadores de resultados y
desempeño requeridos por el Banco Mundial, se encuentra en diseño el denominado Sistema de
Monitoreo, Seguimiento y Evaluación del PRONASAR (SIMSE – PRONASAR).
Se han efectuado reuniones con los diferentes consultores de la UGP PRONASAR con la finalidad
de conocer de manera coloquial, los diferentes conceptos que se vienen manejando en torno al
proceso de monitoreo y seguimiento y su aplicación en el desarrollo de sus actividades,
encontrándose una diversidad de acepciones, algunas obtenidas de lecturas de diversos
documentos o cursos que se han llevado de manera particular y otras formadas intuitivamente de la
experiencia obtenida tanto aquí como en otros Programas.
De acuerdo con lo anterior, se ha estimado necesario que previamente al diseño del SIMSE –
PRONASAR, resulta conveniente contar con un Marco Conceptual de los principales términos que
son y serán utilizados en este Sistema, a efectos de que sean utilizados apropiadamente,
coadyuvando a definir las responsabilidades de cada consultor y firmas consultoras en los procesos
y sistemas que se desarrollan en el PRONASAR durante sus intervenciones, así como precisar
estos procesos y los indicadores que permitirán su seguimiento y monitoreo.
Cabe señalar que el Sistema de Monitoreo propuesto estará circunscrito a las actividades del
denominado Componente 1: Abastecimiento de Agua y Saneamiento en Zonas Rurales, puesto que
es el único Componente administrativo vigente a la fecha. Ello implica también precisar que para el
diseño del SIMSE – PRONASAR solo se utilizará el Marco Lógico del Componente 1 del Programa,
el cual forma parte del estudio de factibilidad del PRONASAR y sobre esta base, se definirán los
conceptos aquí considerados.
Esperamos que el presente documento permita deliberar sobre los términos aquí tratados, a fin de
mejorar su contenido y su aplicación.
4
II. Objetivo y Finalidad
El objetivo del Marco Conceptual del SIMSE – PRONASAR, es el de contar con un conjunto de
conceptos prácticos y consistentes, sobre los términos que se utilizan en el actual proceso de
intervención del PRONASAR, así como los que serán utilizados en la implementación del Plan de
Monitoreo Seguimiento y Evaluación, de tal manera que su utilización por los consultores del
PRONASAR, guarden correspondencia con el significado que se le otorga en el presente
documento.
Se busca de esta manera, que el manejo común de los términos relacionados con el proceso de
monitoreo, seguimiento y evaluación, facilite la estructuración del SIMSE – PRONASAR, así como
su implementación a través de los Especialistas en Monitoreo Social y Técnico, Supervisores y
Ejecutores.
No se pretende elaborar un documento teórico o que teorice sobre las diferentes maneras existentes
en que estos procesos de seguimiento y control pueden desarrollarse. Al contrario, se busca que los
términos que no se encuentran definidos en el Manual de Operaciones y otros documentos
normativos del PRONASAR, encuentren su adecuada acepción en el marco de los Principios,
Políticas y Enfoques claramente definidos en nuestros documentos normativos. Por ello, los
conceptos estarán ajustados con las estrategias y procedimientos de intervención del PRONASAR y
no necesariamente podrán tener el mismo significado o utilización en otros Proyectos o Programas
que tengan intervenciones con estrategias y principios diferentes a la nuestra.
5
III. Marco Conceptual del Sistema de Monitoreo, Seguimiento y
Evaluación del PRONASAR – SIMSE PRONASAR
ASPECTOS GENERALES
Estos aspectos han marcado una estrategia de intervención que se ha ido ajustando en función de
las lecciones aprendidas en el transcurso del tiempo, pero que no representan mayores
modificaciones sobre las actividades que se desarrollan, los productos que deben obtenerse, los
efectos esperados y los impactos deseados, por lo cual, se tiene una continuidad en la forma de
intervención. Estas características han devenido en las particularidades del diseño del PRONASAR,
comprendiendo objetivos, estrategias y aspectos operativos prácticamente ad hoc al Programa.
En este orden de ideas, las mediciones de los avances del Programa implican el desarrollo de un
sistema de monitoreo, seguimiento y evaluación del Programa que sea oportuno, pertinente, eficaz y
eficiente, para lo cual deberá considerar la forma o secuencia lógica de las intervenciones del
PRONASAR, que efectos e impactos se esperan lograr, cuáles son los roles que deben cumplir los
diferentes involucrados en el proceso de intervención, cuándo se debe efectuar la recopilación de
información y que instrumentos se van a utilizar para cada uno de los procesos de control.
6
METODOLOGÍA DEL MARCO LÓGICO
Esto constituye una de las principales fortalezas del diseño del PRONASAR, porque la metodología
del marco lógico (MML) es una herramienta de análisis estructurado que facilita el proceso de:
Identificación; Diseño; Ejecución y Evaluación de políticas, planes y programas. Así mismo el MML
permite diseñar un conjunto de controles de acuerdo a la secuencia de causa – efecto, que se
traduce en los procesos de ejecución, supervisión, monitoreo, seguimiento y evaluación.
La Matriz de Marco Lógico presenta en forma resumida los aspectos más importantes del proyecto.
Posee cuatro columnas que suministran la siguiente información:
Medios de Verificación.
Supuestos (factores externos que deben cumplirse para alcanzar la instancia superior y que
implican riesgos).
Y cuatro filas que presentan información acerca de los objetivos, indicadores, medios de verificación
y supuestos en cuatro momentos diferentes del ciclo del proyecto:
Fin al cual el proyecto contribuye de manera significativa luego de que el proyecto ha estado
en funcionamiento.
El PRONASAR cuenta con un marco lógico como Programa y un marco lógico relacionado a la
intervención el Componente 1, sobre el cual se rediseñará el SIMSE PRONASAR y como se
muestra en el Anexo N° 01.
7
ESTRUCTURA DE LA MATRIZ DE MARCO LÓGICO
Propósito
Componentes
Actividades
8
Uno de los aspectos más importantes en lo que respecta al monitoreo y seguimiento del Programa,
lo constituye no tanto el hecho de contar con indicadores, si no, el de contar con una estructura
lógica de indicadores para cada nivel de desarrollo del Programa: Indicadores de Actividades (de
recursos, de insumos, de procesos), Indicadores de Componentes (de productos entregados),
Indicadores de Propósito (de efectos inmediatos) e Indicadores de Finalidad (de impacto).
LA CADENA DE RESULTADOS
La cadena de resultados describe una teoría de lógica: “Si …, entonces…” que se refiere a la
progresión lógica de que si se hace “X” o sucede “Y”, entonces “Z” sería la consecuencia o el
resultado. Una cadena de resultados responde a 3 preguntas:
9
CADENA DE RESULTADOS DEL PRONASAR
Recursos Humanos, Acciones y Trabajos Productos finales Uso de los Productos Cambios en la
Financieros y otros ejecutados para entregados a la por la población situación social y
movilizados para transformar insumos población. Bajo el objetivo. Fuera del económica de la
empezar las en productos control del Programa. control del Programa población objetivo
POR EL LADO DE POR EL LADO DE de manera
actividades específicos
LA OFERTA LA DEMANDA
sostenible
El segundo eslabón de la cadena de resultado está constituido por las actividades transformadoras
de los insumos antes señalados en productos. Son estas actividades desarrolladas por los
“ejecutores” y son las de mayor importancia en todo el ciclo del proyecto, puesto que el resultado de
estas actividades son los productos (y sub productos) que son entregados a la población objetivo
con la finalidad de que a través de su uso, se revierta el problema identificado. Cabe señalar que en
cierta medida, las características de la solución del problema determinan los productos en sus
atributos de cantidad, calidad y forma, por ello tenemos productos tangibles (obras de
infraestructura) como intangibles (creación de capacidades, modificaciones organizacionales,
creación de órganos de gestión, etc.).
Es por ello que en este eslabón, se deben afinar los instrumentos de supervisión, monitoreo y
seguimiento, para una adecuada medición y control de los avances, porque nos enfrentaremos a
“líneas de producción” concretas para los productos tangibles y “líneas de producción” más
abstractas para los productos intangibles. Es en este eslabón donde quizás participan el mayor
número de actores internos y externos desarrollando diferentes roles: de ejecutores, supervisores,
de monitoreo, de seguimiento y de evaluación, utilizando los instrumentos adecuados para
desarrollar sus actividades, destacando sobre ellos, el establecimiento de indicadores de proceso,
que permitirán apreciar las desviaciones de lo ejecutado con respecto a lo programado. Cabe
señalar que tanto la calidad de los procesos como la de los insumos, determinarán obtener
productos de calidad, siempre y cuando sean aplicados en la oportunidad y cantidad establecida.
Las “líneas de producción”, están orientadas a dar sub productos relativamente diferenciados, y
algunas de ellas pueden estar condicionadas a los avances que se registren en otra línea de
producción. Así tenemos que la línea de producción para obtener “personas/familias capacitadas en
educación sanitaria con prácticas adecuadas” está condicionado al avance registrado en la línea de
producción para obtener el producto “sistema de agua y saneamiento construido”, puesto que sin los
lavaderos y los UBS que son subproductos del último de los nombrados, es inviable que se concluya
con la parte práctica de las capacitaciones y por lo tanto entregar dicho producto con el estándar de
calidad establecido. En este sentido, la supervisión y el monitoreo deben establecer mecanismos e
indicadores que permitan relacionar los avances de ambas actividades.
El tercer eslabón está constituido por los Productos que son entregados a la población objetivo.
Como se señaló anteriormente, estos productos son resultados del proceso previo de transformación
y deben tener los atributos exigidos para que a través de su utilización se revierta el problema
específico. Este aspecto se encuentra especificado en los estándares de calidad fijados en los
11
documentos normativos y sustentatorios del PRONASAR y normatividades conexas. Algunos de
estos atributos condicionan que la elaboración del producto aparentemente esté concluida pero que
aún no esté a entera disposición de la población, por lo tanto se constituye en un “producto
potencial” y no en un “producto efectivo”, que es el que está a plena disposición de la población.
Ejemplo de ello tenemos en las obras que se encuentran concluidas pero no recepcionadas ni
liquidadas y por lo tanto ni la JASS ni el Municipio tienen pleno dominio sobre ellas, limitándose el
desarrollo de su rol para el que fueron capacitados. Así mismo, la educación sanitaria puede estar
concluida pero se exigen estándares de calidad a nivel de personas o familias que realizan las
prácticas sanitarias de manera adecuada. De no traducirse estos conocimientos en prácticas
efectivas a cierto nivel, no se puede asegurar que este producto (intangible) esté concluido para
empezar a realizar las mediciones de cambios de comportamiento en la comunidad.
Cabe señalar finalmente que este eslabón representa el último donde las actividades están
realmente bajo el control del PRONASAR y por ende bajo responsabilidad de los integrantes de la
UGP PRONASAR personificado en la Coordinación General. Así mismo representa el enfoque del
problema específico por el lado de la oferta.
El cuarto eslabón está representado por los Resultados inmediatos que se obtienen cuando la
población utiliza o hace uso de los productos efectivamente entregados. Para ello los productos
deben haberse entregado en la cantidad suficiente, la calidad exigida y en la oportunidad
conveniente, puesto que si el diseño de los productos responden al marco lógico del problema
central (materia de la intervención), su utilización con los atributos antes señalados, deben tener un
efecto en el corto plazo en la resolución de la problemática del agua y saneamiento y por ende a la
consecución del objetivo planteado, lo cual se conoce como Resultados o Efectos Inmediatos.
Las grandes diferencias cualitativas de este eslabón con los anteriores, conlleva a diseñar otros
mecanismos de monitoreo, seguimiento y evaluación, que inclusive son llevadas a cabo por
instituciones u organismos diferentes al que realizó la implementación del Programa. Cabe señalar
que los estudios de Resultados – Efectos son de mayor costo que las evaluaciones realizadas en los
anteriores eslabones, puesto que mientras las anteriores se realizaban con información interna
12
(generada por los mismos procesos), en este tipo de evaluación (en el ámbito de las evaluaciones ex
– post), se requieren de trabajos de campo con Focus Group o muestras significativas, apelando en
algunos casos a grupos de control (localidades con las mismas características a las intervenidas,
pero donde no se intervienen).
Sin embargo es importante señalar que en el diseño del PRONASAR, hay una etapa de
acompañamiento o post ejecución, que en el corto plazo se propone mejorar los indicadores de
resultados, para los cuales el equipo de monitoreo social, debe contar o diseñar mecanismos de
recolección de información de bajo costo pero de significancia para el análisis.
El último eslabón está constituido por los impactos que en el largo plazo se originan por el uso
constante y sostenible de los productos entregados y otras relaciones que se establezcan como
consecuencia de los resultados inmediatos que se obtuvieron. En el caso del PRONASAR, estos
impactos están relacionados con el fin del Programa y la sostenibilidad de los resultados obtenidos.
Cabe señalar que estos impactos al ser más generales y de largo alcance, pueden verse influidos o
condicionados por otras intervenciones que confluyen con diferentes estrategias (e inclusive
objetivos) pero que coinciden en la finalidad. Es por ello que el análisis de los impactos requiere de
estudios más profundos y de mayor costo, desarrollados por instituciones (o empresas)
especializadas que comparen la Línea de Base con los aparentes impactos producidos y mediante
las técnicas estadísticas apropiadas, filtren el impacto real del Programa, diferenciándolo de las
influencias o externalidades de otras intervenciones.
Este último eslabón de la cadena de resultados, tampoco se encuentra bajo el control del Programa,
e inclusive estos impactos se vislumbran cuando inclusive los Programas se encuentran concluidos y
liquidados, por lo que la medición del mismo queda en manos del sector o del Ministerio de
Economía y Finanzas.
Como se ha podido apreciar, tanto la Metodología del Marco Lógico como la de Cadena de
Resultados se complementan como herramientas de gestión para definir los ámbitos de
responsabilidad y los ámbitos de control. El Banco Mundial ha definido un conjunto de indicadores
de Productos y de Resultados (Ver Anexo N° 02) que son compatibles con los indicadores que se
han definido en la matriz de Marco Lógico del PRONASAR.
Conocida la Cadena de Resultados y la Matriz del Marco Lógico del PRONASAR, otro aspecto
fundamental para la conformación de un Sistema De Monitoreo, Seguimiento y Evaluación del
Programa (SIMSE - PRONASAR) está constituido por el conocimiento de los diferentes procesos de
control de las actividades que se desarrollan en la Cadena de Resultados y los Roles que
desempeñan los diferentes actores de nuestra intervención. En el siguiente gráfico, se presentan los
Procesos antes mencionados: Ejecución, Supervisión, Monitoreo, Seguimiento y Evaluación, su
relación con los diferentes eslabones de la referida cadena (Insumos, Actividades, Productos,
Resultados e Impactos y el rol de los diferentes actores de la intervención: Consultores de la UGP
PRONASAR, ejecutores, supervisores, Especialistas en Monitoreo Social y Técnico, Administradores
de Contrato, Jefes de Componentes, la Población, la Municipalidad, el Sector, etc.
13
CADENA DE RESULTADOS, PROCESOS Y ROLES EN EL PRONASAR
SUPERVISIÓN Jefes de Componentes OS / Consultores Individuales Supervisores Sociales Municipalidad / JASS Municipalidad /
/Coordinadores y de Obras Gobierno Regional
MONITOREO Coordinación General Especialistas en Monitoreo Social y Técnico Centro de Salud / Gobierno Regional /
Municipalidad Gobierno Nacional
14
Actores y Roles en el Proceso de Ejecución
Los actores del Proceso de Ejecución en los diferentes momentos de la cadena de resultados son
los denominados Ejecutores, constituidos por los consultores individuales, firmas consultoras,
empresas contratistas u otros encargados de desarrollar un proceso que concluirá con la entrega de
bienes o servicios (productos finales) a la población objetivo del Programa.
Los ejecutores no necesariamente participan en todo el Ciclo del Proyecto, pudiendo finalizar su
actuación con un producto parcial que servirá de insumo a otro ejecutor en el proceso de
intervención (o producción), como por ejemplo consultores individuales contratados para la
elaboración de perfiles que luego son utilizados por otros consultores que elaborarán los
expedientes técnicos que serán utilizados por los contratistas de obras para la ejecución de las
mismas.
Es importante señalar que de acuerdo con la cadena de resultados, el rol de los ejecutores se
presenta en dos dimensiones: Los ejecutores bajo el control del Programa y los ejecutores que no se
encuentran bajo el control del mismo. En el primer caso, el papel activo de los ejecutores concluye
prácticamente con la entrega de los bienes a la población objetivo, sin perjuicio de responsabilidades
legales establecidas (como en el caso de ejecutores de obras). A partir de allí, los actores de la
ejecución, ya no se encuentran bajo el control del Programa, tal como se muestra en el gráfico antes
señalado, siendo su responsabilidad de ejecución del tipo social.
Este proceso implica una recolección permanente de información sobre todos los aspectos del
proceso que se viene desarrollando para la obtención de los productos (y sub productos) que se van
a entregar a la población objetivo. Este proceso implica observar, controlar, verificar (control de
calidad), aprobar operativamente, registrar, corregir e informar de los avances que obtiene el
ejecutor en el transcurso del tiempo y del desarrollo de los procesos.
15
Aunque no es su finalidad, el monitoreo permite contrastar la efectividad de la acción de supervisión,
al levantar indicadores de monitoreo y compararla con la información proporcionada por el
supervisor al mismo tiempo verificar la eficacia y eficiencia del ejecutor.
Al igual que en el caso de la ejecución, en la supervisión los actores se diferencian entre los que
están bajo el control del Programa, siendo esta supervisión de carácter contractual y los que están
fuera del Control del Programa y que tiene un carácter institucional y también de responsabilidad
social, de acuerdo a los Convenios u otras disposiciones establecidos con el PRONASAR o en la
normatividad correspondiente.
El monitoreo permite al mismo tiempo el control de calidad de los insumos utilizados y productos
intermedios entregados el desarrollo de la intervención, verificar que se esté desarrollando
adecuadamente el proceso de supervisión y aunque no es precisamente su motivo principal, permite
la toma de decisiones de carácter operativo para recuperar el ritmo de ejecución o solucionar las
desviaciones con respecto a lo que señalan la programación de indicadores.
El monitoreo del proceso de intervención es desarrollado por los Especialistas en Monitoreo Técnico
y los Especialistas en Monitoreo Social, de acuerdo a las atribuciones conferidas en el Manual de
Operaciones, quienes definen y ejecutan el Plan de Monitoreo.
El monitoreo y la responsabilidad de los monitores también se clasifica entre los que se encuentran
bajo el control del Programa y que monitorean hasta la entrega de los productos y los monitores
fuera del control del Programa, constituido por instituciones que tienen dentro de sus funciones, la
medición de los efectos inmediatos y de largo plazo como los Centros de Salud (EDAS y otras
enfermedades de origen hídrico), municipios (sobre la calidad del servicio de agua y saneamiento),
Gobiernos Subnacionales y Nacional sobre el mejoramiento de calidad de vida. Cabe señalar que en
estas instituciones al no estar bajo el control del Programa (y obligatoriamente de nuestros principios
16
y enfoques) la línea divisoria entre las actividades de supervisión y monitoreo es muy tenue,
inclusive en lo que corresponde al seguimiento de la sostenibilidad.
El enfoque principal del seguimiento es la eficacia del trabajo que se está desarrollando. Igual como
en el caso del monitoreo, el seguimiento se orienta al control sobre la ejecución de
responsabilidades asignadas y a la facilitación de la evaluación que se orienta adicionalmente a la
eficiencia. Por ello el seguimiento aunque también tiene un carácter sistemático, se desarrolla de
manera más esporádica a efectos de contar con la información del monitoreo y supervisión pero en
un menor plazo que la evaluación.
En el caso del PRONASAR, el seguimiento se realiza hasta la entrega de los productos y se plasma
en el denominado Reporte de Seguimiento y Monitoreo (IFR / FMR por sus siglas en inglés) que
recoge trimestralmente los avances registrados en los eslabones de insumos, actividades y
productos, por lo cual el citado Informe cuenta con información de avance financiero, contrataciones
y avances físicos.
Por el tipo de análisis que requiere y el nivel de decisiones que se toman, el seguimiento hasta el
momento de la entrega de productos está a cargo principalmente de los Administradores de
Contrato. En los momentos fuera del control del Programa, el seguimiento es realizado por
instituciones que tengan los instrumentos y la logística con la capacidad de acometer dichos
trabajos. Sin embargo, en la realidad el seguimiento de efectos e impactos (para los eslabones fuera
del control del Programa) es uno de los procesos que se realiza muy esporádicamente o no se
realiza, por la limitada normatividad relacionada con este proceso, la falta de cultura de hacer
seguimiento ex post y la poca implementación de estas instituciones para desarrollar este proceso.
17
Dependiendo del momento en que se efectúa la evaluación, se cuenta con evaluaciones ex ante,
durante, Al término o cierre y ex post.
Las evaluaciones “ex ante”, son las que se realizan antes del inicio de la ejecución de un proyecto o
programa. Existen diversos enfoques para clasificar estas evaluaciones pero para el caso del
PRONASAR, la evaluación ex ante se encuentra plasmada en la evaluación del estudio de
factibilidad del Programa y la evaluación del Documento de Aprobación del Proyecto (PAD por sus
glas en Inglés) que efectuó el Banco Mundial.
Las evaluaciones “durante” son las que se realizan en el proceso de ejecución del programa y
toman como referencia el ciclo del proyecto y el “proceso productivo” de los productos y servicios
que entrega el PRONASAR a la población objetivo. Por su amplitud y profundidad las evaluaciones
en esta etapa pueden referirse a los procesos como a los productos o resultados alcanzados. De
acuerdo a ello, en el Manual de Operaciones se tiene definido que los Informes de Evaluación
Trimestral se denominan “Informes de Seguimiento y Monitoreo (IFR/FMR)” y los Informes de
Evaluación Semestral se denominan “Informe de avance del Programa” y el Informe de Evaluación
Anual se le denomina “Informe de Implementación de Operaciones”. Estas evaluaciones también
comprenden las evaluaciones intermedias que se centran sobre problemas de ejecución, o para
ayudar a tomar decisiones sobre el desarrollo del proyecto.
Las evaluaciones al “Término o al Cierre” con aquellas que se realizan una vez concluidas las
actividades del Proyecto o Programa y se orientan a medir la eficiencia, eficacia y pertinencia de la
intervención, la sistematización de experiencias y lecciones aprendidas. Estas evaluaciones son
utilizadas para el diseño de nuevos proyectos que persiguen objetivos similares a la intervención
finalizada. Se caracteriza por ser una mirada introspectiva del Proyecto o Programa.
Las evaluaciones “ex post” se llevan al cabo de un tiempo de finalizado el proyecto o una
intervención focalizada con todos los productos entregados y que no es pasible de más
intervenciones por el Programa. Es una evaluación con mayor profundidad, más allá del alcance
inmediato del proyecto y está orientado al análisis de qué sucede con la población objetivo; extrae
lecciones, hallazgos y evidencias, permite la elaboración de recomendaciones objetivas para nuevos
proyectos. Es la base para determinar el grado de efectividad de las intervenciones.
18
La evaluación en las actividades bajo el control del Programa es realizado a por la Coordinación
General a través del Equipo de Planeamiento, Presupuesto y Evaluación, quien consolida la
información de los procesos de control anteriores presentados por los diferentes Componentes.
Cabe señala que al año se realizan 2 evaluaciones, una semestral y una anual. Así mismo estas
evaluaciones se realizan en dos formatos diferentes: uno de acuerdo a las disposiciones del
Ministerio de Economía y Finanzas, más conocido como Evaluación Presupuestal, y otro bajo el
formato del Banco Mundial de acuerdo con el Manual de Operaciones del PRONASAR.
Como se ha podido apreciar, los diferentes niveles de control y seguimiento permiten (cuando son
realizados adecuada y oportunamente) que la cadena de resultados se desarrollen cumpliendo
criterios de eficacia y eficiencia que aunado a la calidad de los productos entregados a la población
objetivo, garantizarán la efectividad y la sostenibilidad de las intervenciones realizadas.
Los esquemas antes presentados permiten simplificar el entendimiento de los diferentes procesos,
eslabones y actores que participan en la cadena de resultados. Sin embargo, en la realidad, los
procesos que se desarrollan en el Programa son mucho más complejos e interrelacionados, donde
las diferentes unidades organizativas de la UGP PRONASAR e inclusive los mismos consultores,
participan de uno u otra manera en estos procesos, dificultando el análisis e identificación de los
procesos claves de los cuales depende el avance del programa con miras al cumplimiento de los
objetivos y metas planteados, así como la población objetivo que constituye el eje central de toda
nuestra acción.
LA CADENA DE VALOR
Para permitir identificar estos aspectos claves bajo los parámetros antes señalados, la planeación
estratégica cuenta con una poderosa herramienta denominada Cadena de Valor, la cual propone un
modelo teórico que permite describir el desarrollo de las actividades de una organización generando
valor al cliente final, por tanto, su objetivo es maximizar la creación de valor para el cliente mientras
se minimizan los costos, lo que se traduce en un margen entre lo que se acepta pagar el cliente y los
costos incurridos por adquirir la oferta.
Actividades primarias
19
Las actividades primarias se refieren a aquellas relacionadas a la creación física del
producto, su venta y el servicio posventa. Estas actividades a su vez pueden diferenciarse
en sub-actividades dependiendo de la complejidad de la elaboración del producto. El modelo
de la cadena de valor distingue cinco actividades primarias:
Las actividades primarias están apoyadas o auxiliadas por las también denominadas
'actividades secundarias':
20
CADENA DEL VALOR Y CADENA DE RESULTADOS
CADENA DEL VALOR
INFRAESTRUCTURA EMPRESARIAL: Coordinación General, Asuntos Legales,
Planeamiento y Presupuesto, Administración General
CADENA DE RESULTADOS
21
En el PRONASAR las actividades de apoyo, secundarias o transversales, están constituidas por:
Cabe señalar que estas actividades si bien es cierto que directamente no generan un valor que sea
percibido por la población objetivo, su desempeño eficaz permite que las actividades de la cadena
de valor primarias cumplan con sus funciones y programaciones. Así mismo, las deficiencias que se
presenten en estas actividades secundarias, afectarán y limitarán el desarrollo de las otras
actividades, pudiendo generar desgastes innecesarios en los actores por los retrasos y limitaciones
para el desarrollo de sus trabajos (demora en los pagos, falta de material, limitaciones de equipos,
incomodidad para reuniones, personal sin conocimientos de políticas internas, demoras burocráticas,
etc.)
Las actividades primarias se constituyen en el centro de atención de todos los procesos de control,
porque tal como se han definido anteriormente, son las que permiten crear un valor (del producto)
para la población objetivo. Estas actividades son las más importantes y no por casualidad
constituyen la ruta crítica del Programa. Cualquier retraso en estas actividades afectará la entrega
oportuna de los productos, la mala calidad de los procesos redundará en un producto defectuoso o
mal percibido por la población objetivo y otros aspectos que garantizarán el éxito o el fracaso de la
intervención.
Logística Interna: Son las actividades encargadas de obtener los insumos y demás recursos en
el momento oportuno, con la cantidad y calidad estipulada en los requerimientos que se
desprenden de los procesos que serán desarrollados. Las áreas intervinientes en esta actividad
están constituidos por la de presupuesto y tesorería, para la programación y obtención de los
fondos necesarios para empezar los procesos, los especialistas en adquisiciones y los Comités
tanto permanente como especiales para la contratación de consultorías, empresas y otros
22
ligados directamente con la generación del producto. Tal como se ha señalado anteriormente
cuando se analizó la cadena de resultados, la logística interna es la que permite tener insumos
potenciales en insumos efectivos (consultores, firmas y empresas contratadas) y los recursos
necesarios para atender sus valorizaciones de pagos.
Operaciones: Son las actividades de transformación de los insumos, desarrollados por los
ejecutores y monitoreados por los consultores del Componente 1. Estas son las actividades
críticas puesto que crean valor al producto y requieren de todo el apoyo institucional para el
desarrollo de sus actividades con eficacia y eficiencia. Es el principal centro de atención del
monitoreo, seguimiento y evaluación y en donde cualquier deficiencia afecta el rendimiento de
todo el Programa, por ello debe contar con el personal suficiente y capacitado que permita
procesar los pagos, dar conformidades, monitorear al ejecutor y al supervisor, efectuar el
seguimiento y preparar la información para la evaluación.
Así mismo, los Consultores del Componente 1 son los encargados de tomar y aprobar las
decisiones operativas y tácticas que permitan corregir las desviaciones de los avances con
respecto a lo programado, considerando además que el personal de este Componente tiene la
gran responsabilidad de que se cumpla con la ruta crítica del Programa y como se señaló
anteriormente, son los responsables de que se genere el mayor valor (no solo el físico o de
costos) del producto, si no la valoración del mismo por parte de la población objetivo
(empoderamiento, apreciación, participación) que son los aspectos intangibles no costeables
pero que garantizarán que se tenga una población objetivo satisfecha (cliente feliz).
Logística Externa: Son las actividades conducentes a que los productos lleguen en buenas
condiciones a la población objetivo, creando las condiciones para que puedan ser
efectivamente utilizados. En varias ocasiones se descuida esta actividad al no liquidarse y
transferirse las infraestructuras construidas o no garantizar que los productos intangibles hayan
cumplido con los parámetros de calidad exigidos. Al no cumplirse con estos requisitos, no se
garantiza que los productos sean utilizados adecuadamente o a plenitud.
Marketing y Ventas: Son actividades que más se presentan en ámbitos empresariales que
tienen que desarrollar estrategias de marketing y ventas (La venta tiene como objetivo que el
cliente quiera lo que la empresa posee; el marketing, en cambio, trata de que la empresa tenga
lo que el cliente quiera. La venta es un proceso en sentido único, el marketing es un proceso de
doble sentido).
Para el caso del PRONASAR, la adaptación de esta actividad está relacionada al desarrollo
de estrategias de comunicación en ambos sentidos „Programa Población Objetivo‟, a
efectos de verificar que los aspectos de empoderamiento y apreciación de la infraestructura,
servicios y otros productos entregados, se encuentran a satisfacción del “Cliente” y así mismo
23
conocer aspectos que permitan potenciar los aspectos positivos o mitigar los negativos en otras
intervenciones.
Así mismo implica el conocimiento de que se está utilizando los productos de acuerdo a lo
programado. Esta actividad se encuentra en la frontera de la responsabilidad del Programa, sin
embargo, el diseño y revisión de las estrategias recae en el Especialista Social del Componente
1 y los Especialistas de Comunicaciones de la Coordinación General.
Servicios: Esta actividad en cierto sentido se encuentra fuera del control del Programa porque
se genera cuando la población objetivo ya cuenta con el producto, sin embargo como una
adaptación para el PRONASAR, también representa los esfuerzos del Programa por lograr de
que esta población objetivo se sienta con las capacidades para aplicar todos los conocimientos
(creación de capacidades) para utilizar los bienes entregados y que está representado por el
proceso de acompañamiento que se da en la post ejecución del ciclo del proyecto del
PRONASAR. Cabe señalar que esta actividad y la anterior constituyen las actividades
distintivas del PRONASAR con otras intervenciones en agua y saneamiento que concluyen con
la ejecución de la obra.
Como se aprecia, la identificación de la Cadena de Valor del Programa y su relación con la Cadena
de Resultados, permite focalizar donde deben estar dirigidas las acciones de supervisión, monitoreo,
seguimiento y evaluación, ubicar en donde se deben buscar las explicaciones fundamentales de los
atrasos y quienes deben recibir todo el apoyo institucional para el éxito del Programa. Como se
desprende del Principio de Pareto, el 20% de las causas explican el 80% de los problemas o de
manera positiva, el 20% de lo bien hecho produce el 80% de los resultados. La cadena de valor nos
ayuda a focalizar la búsqueda de esos 20%.
El enfoque sistémico permite ver a la organización o el proyecto como un todo y no como una serie
de partes que pueden o no estar relacionadas. Todo sistema se puede dividir en subsistemas. La
interacción entre subsistemas se conoce como „acoplamiento‟. Es bueno hacer notar que el
desacoplamiento de subsistemas puede tener un efecto negativo, o contraproducente: cada uno de
los subsistemas trabaja correctamente, pero el sistema en su totalidad no funciona bien porque los
subsistemas operan sin tener en cuenta al sistema como un todo.
24
Seguimiento y Evaluación (de acuerdo a las definiciones en el presente glosario) se constituyen en
subsistemas interrelacionados a través el Plan de Monitoreo y la plataforma informática de obtención
y procesamiento de datos.
Así mismo, el SIMSE – PRONASAR se constituirá como un sistema de información, entendido como
un conjunto de elementos orientados al tratamiento y administración de datos e información,
organizados y listos para su posterior uso, generados para cubrir una necesidad que está
relacionada principalmente con el seguimiento de la ejecución y la toma de decisiones. Dichos
elementos formarán parte de alguna de estas categorías:
Personas.
Datos.
Todos estos elementos interactúan entre sí para obtener y procesar los datos (incluyendo procesos
manuales y automáticos) dando lugar a información más elaborada y distribuyéndola de la manera
más adecuada posible en una determinada organización en función de sus objetivos.
Se espera que este sistema se oriente a constituir un sistema de información informático, en parte
porque los recursos materiales de este sistema estará constituidos casi en su totalidad por sistemas
informático alimentado por información proporcionada por OTS y otros ejecutores, de los OS y otros
supervisores, de los Especialistas en Monitoreo y otros, cuyo procesamiento permitirá el seguimiento
y evaluación de la gestión en sus diferentes aspectos dentro de la cadena del valor.
25
IV. Glosario por Orden Alfabético
La cadena de resultados describe una teoría de lógica: “Si …, entonces…” que se refiere a la
progresión lógica de que si se hace “X” o sucede “Y”, entonces “Z” sería la consecuencia o el
resultado.
26
describir el desarrollo de las actividades de una organización generando valor al cliente final, por
tanto, su objetivo es maximizar la creación de valor para el cliente mientras se minimizan los costos,
lo que se traduce en un margen entre lo que se acepta pagar el cliente y los costos incurridos por
adquirir la oferta.
Actividades primarias
Las actividades primarias se refieren a la creación física del producto, su venta y el servicio
posventa, y pueden también a su vez, diferenciarse en sub-actividades. El modelo de la
cadena de valor distingue cinco actividades primarias:
Las actividades primarias están apoyadas o auxiliadas por las también denominadas
'actividades secundarias':
27
El ciclo de los proyectos de PRONASAR, está dividido en cuatro etapas:
28
agua, higiene y saneamiento. Concluye con la liquidación de cada uno de los proyectos, de
manera individual por localidad, haciendo un recuento de todas las actividades.
COMPONENTES DEL PROGRAMA: Son los elementos o partes del PRONASAR que consolidan
los productos que serán entregados por el Programa según su ámbito de intervención y que
contribuyen a la obtención del Objetivo del Programa. Tienen por finalidad facilitar el control de la
ejecución física, financiera y administrativa del Programa.
De acuerdo con los Estudios de Pre Inversión y el Convenio de Préstamo 7142 PE (en el cual se
denominan Partes del Programa), el PRONASAR cuenta con 4 Componentes:
COMPONENTES DE MARCO LÓGICO: Son los elementos de la Matriz del Marco Lógico que
responden a la pregunta ¿Qué entregará el proyecto?
Los Componentes son las obras, estudios, servicios y capacitación específicos que se requiere que
produzca el Programa con el presupuesto que se le asigna. Cada uno de los Componentes del
proyecto tiene que ser necesario para lograr el Propósito, y es razonable suponer que si los
Componentes se producen adecuadamente, se logrará el Propósito. La Coordinación General del
PRONASAR es responsable de la producción de los Componentes del proyecto. En la matriz de
marco lógico, los Componentes se definen como resultados alcanzados, vale decir, como obras
terminadas, estudios terminados, capacitación terminada.
El Marco Lógico del Componente 1 del PRONASAR según los estudios de Pre Inversión contempla
los siguientes Componentes expresados como resultados alcanzados:
1. Población del área rural de las zonas de intervención, con acceso a servicios de agua y
saneamiento sostenibles en condiciones adecuadas: calidad, cantidad y continuidad.
2. Población del área rural del ámbito de intervención, con acceso a un sistema de
disposición de excretas en condiciones adecuadas.
29
5. Gobiernos Locales cuentan con capacidades para dar asistencia técnica básica y apoyo a
las JAAPS de las localidades intervenidas.
Por tanto, la efectividad se constituye en una medida de la validez de la(s) hipótesis de solución del
problema identificado. Así mismo la efectividad debe relacionarse con los recursos utilizados para
conseguir los objetivos propuestos y así determinar que fue la alternativa óptima en la obtención de
resultados con mínimo costo, máxima calidad y en el tiempo establecido.
EFECTOS: Son los cambios, intencionales o no, originados directa o indirectamente de un proyecto
luego de que entrega sus productos o servicios a la población objetivo. Según la previsión que se
tomen, los efectos pueden ser:
Efecto directo: cambio intencional producido directamente por un proyecto para cumplir con
su objetivo específico
Los efectos según su cercanía en el tiempo con la entrega de los productos de los proyectos a la
población objetivo se clasifica en:
Efectos de corto plazo: Llamados también resultados esperados o simplemente efectos, son
las modificaciones inmediatas provocadas directamente por el uso/aplicación de los
productos en las poblaciones locales. Están relacionados con el objetivo o propósito del
proyecto o programa y por ende en la solución de la problemática directa de la población
objetivo.
Efectos de largo plazo: Llamados también impactos, constituidos por las transformaciones
profundas en el hábitat y la vida de la población, las reducciones (o no) en los indicadores
de pobreza, como consecuencia de las acciones del proyecto y de los esfuerzos de la
30
población local. Está relacionado con el fin del proyecto o programa y por ende con un
objetivo general del gobierno o sociedad.
En el análisis de eficacia se debe tomar en cuenta las cantidades que se procesan y entregan en
cada fase del proceso de elaboración de los productos y la calidad del producto final.
EFICIENCIA: Se refiere a la medida en la cual se gestionan los productos que son entregados en un
determinado plazo Se encuentra relacionado con el desarrollo más apropiado o la mejor
combinación de insumos para obtener los productos que el Proyecto o Programa entrega a la
población objetivo.
En el análisis de eficiencia se debe tener en cuenta los factores de cantidad, oportunidad, costos y
demás recursos insumidos. El análisis se centra en la calidad de los procedimientos y las prácticas
desarrolladas.
El cálculo de la eficiencia o del indicador de eficiencia es un trabajo más elaborado porque está en
función de los recursos que se van a aplicar y que se definen como los más relevantes con respecto
al producto que se va a obtener y el proceso que conlleva. La eficiencia también es un concepto
relativo porque resulta de comparaciones con situaciones óptimas de utilización de recursos y
productos obtenidos. Un ejemplo común es el que se presenta de la comparación de dos personas
que van a matar una mosca, una con un matamoscas y la otra con un rifle. Si ambos la matan en el
tiempo estimado de 5 minutos (fueron eficaces) significará que el primero fue más eficiente que el
segundo por la menor utilización de recursos (de costos más bajos así como menores
externalidades) y la obtención del mismo resultado.
En el proceso de inversión pública, para la etapa de ejecución que se operativiza a través del
presupuesto público, el Ministerio de Economía y Finanzas definió el siguiente indicador de eficiencia
en relación con el Presupuesto Institucional de Apertura (PIA) como con el Presupuesto Institucional
Modificado (PIM) para el caso de evaluaciones anuales:
31
Nuevamente se debe indicar que el estándar de eficiencia lo determinan las entidades que otorgan
los recursos como el Banco Mundial y el Ministerio de Economía y Finanzas).
EJECUTORES: Son los consultores individuales, firmas consultoras, empresas contratistas u otros
encargados de desarrollar un proceso que concluirá con la entrega de bienes o servicios (productos
finales) a la población objetivo del Programa.
Los ejecutores como personas naturales o jurídicas, no participan necesariamente en todo el Ciclo
del Proyecto, pudiendo finalizar su actuación con un producto parcial que servirá de insumo a otro
ejecutor en el proceso de intervención (o producción), como por ejemplo consultores individuales
contratados para la elaboración de perfiles, los cuales posteriormente serán utilizados por otros
consultores que elaborarán los expedientes técnicos, que de igual manera serán utilizados
posteriormente por los contratistas de obras para la ejecución de las mismas.
32
De acuerdo a la estrategia de intervención del PRONASAR, salvo excepciones, los ejecutores se
encuentran bajo supervisiones contratadas con personas naturales o jurídicas.
Dependiendo del momento en que se efectúa la evaluación, se cuenta con evaluaciones ex ante,
durante, Al término o cierre y ex post.
Las evaluaciones “ex ante”, son las que se realizan antes del inicio de la ejecución de un proyecto o
programa. Existen diversos enfoques para clasificar estas evaluaciones pero para el caso del
PRONASAR, la evaluación ex ante se encuentra plasmada en la evaluación del estudio de
factibilidad del Programa y la evaluación del Documento de Aprobación del Proyecto (PAD por sus
glas en Inglés) que efectuó el Banco Mundial.
33
Las evaluaciones “durante” son las que se realizan en el proceso de ejecución del programa y
toman como referencia el ciclo del proyecto y el “proceso productivo” de los productos y servicios
que entrega el PRONASAR a la población objetivo. Por su amplitud y profundidad las evaluaciones
en esta etapa pueden referirse a los procesos como a los productos o resultados alcanzados. De
acuerdo a ello, en el Manual de Operaciones se tiene definido que los Informes de Evaluación
Trimestral se denominan “Informes de Seguimiento y Monitoreo (IFR/FMR)” y los Informes de
Evaluación Semestral se denominan “Informe de avance del Programa” y el Informe de Evaluación
Anual se le denomina “Informe de Implementación de Operaciones”. Estas evaluaciones también
comprenden las evaluaciones intermedias que se centran sobre problemas de ejecución, o para
ayudar a tomar decisiones sobre el desarrollo del proyecto.
Las evaluaciones al “Término o al Cierre” con aquellas que se realizan una vez concluidas las
actividades del Proyecto o Programa y se orientan a medir la eficiencia, eficacia y pertinencia de la
intervención, la sistematización de experiencias y lecciones aprendidas. Estas evaluaciones son
utilizadas para el diseño de nuevos proyectos que persiguen objetivos similares a la intervención
finalizada. Se caracteriza por ser una mirada introspectiva del Proyecto o Programa.
Las evaluaciones “ex post” se llevan al cabo de un tiempo de finalizado el proyecto o una
intervención focalizada con todos los productos entregados y que no es pasible de más
intervenciones por el Programa. Es una evaluación con mayor profundidad, más allá del alcance
inmediato del proyecto orientándose al análisis de qué sucede con la población objetivo; extrae
lecciones, hallazgos y evidencias, permite la elaboración de recomendaciones objetivas para nuevos
proyectos. Es la base para determinar el grado de efectividad sostenible.
FIN: Recibe también la denominación de “Objetivo General”, o “finalidad”, el cual se define como un
objetivo de desarrollo de nivel superior e importancia nacional, sectorial o regional, a cuyo logro
contribuirá el proyecto a mediano o largo plazo. Está relacionado con el impacto de la intervención a
largo plazo por lo que comprende la sostenibilidad de los efectos iniciales.
34
GRUPO DE CONTROL: Está constituido por las familias, localidades, municipios, etc., que tienen
las mismas características socioeconómicas, físicas, ambientales u otras similares al del grupo de
evaluación y que están afectados por la misma problemática, en los cuales PRONASAR no va a
intervenir con la entrega de bienes y servicios según el objetivo trazado. Estos grupos son muy
importantes para el análisis de efectos e impactos porque permitirán dilucidar el efecto neto de la
intervención y también en la conformación de la línea de base.
IMPACTO: Son los efectos de largo plazo, constituidos por las transformaciones profundas en el
hábitat y la vida de la población, las reducciones (o no) en los indicadores de pobreza, como
consecuencia de las acciones del proyecto y de los esfuerzos de la población local. Está relacionado
con el fin del proyecto o programa y por ende con un objetivo general del gobierno o sociedad.
Si los efectos que busca el PRONASAR están relacionados con la reducción de la incidencia de
enfermedades diarreicas, gastrointestinales, epidérmicas y otros de origen hídrico en la población
objetivo, el impacto deseado es una reducción sostenible de estas enfermedades, la generación de
ahorros por el menor gasto en salud, la revaloración de las personas por una situación más digna y
todo ello contribuirá al fin del PRONASAR antes mencionado.
INDICADORES: Los indicadores son herramientas que pueden ser utilizados en el proceso de
supervisión, monitoreo, seguimiento y evaluación, para clarificar y definir en forma más precisa los
objetivos e impactos planificados y al mismo tiempo, son medidas verificables de los cambios,
avances y resultados con respecto a las metas establecidas.
Clarificar la lógica entre las actividades, los resultados y los objetivos del proyecto.
Focalizar de forma más específica la intención del proyecto, al indicar qué se quiere lograr,
con qué características, en dónde, en qué tiempo, para qué población, etc.
Medir el avance y los logros permiten saber si efectivamente se está realizando lo planeado
y conocer el impacto de nuestra acción.
Revisar el desempeño del proyecto y del equipo encargado de su ejecución, así como los
tiempos y recursos disponibles.
35
Entre las características que debe tener un indicador destaca:
Debe ser específico: El indicador da información sobre los elementos particulares que se
quieren modificar. ¿Qué medidas, con qué especificaciones y en qué lugar?
Debe ser medible: El indicador es confiable al permitir medir clara y objetivamente los
alcances. Puede ser medible un indicador cuantitativo como uno cualitativo.
Debe ser alcanzable: El indicador establece metas realistas y los datos para medirlos están
disponibles a un costo y esfuerzo razonables.
Debe estar enmarcado en el tiempo: El indicador debe expresar plazos y tiempos sobre
cuándo se alcanzarán las metas.
Se requieren diferentes tipos de indicadores para analizar y revisar el avance en cada etapa de la
jerarquía de intervención. Así, en el enfoque del marco lógico se pueden tener los siguientes
indicadores:
INSTRUMENTOS DE MONITOREO: Están constituidos por los recursos diseñados para que los
encargados del monitoreo, puedan desarrollar sus actividades, principalmente orientados a la
recolección de datos e información.
Algunos instrumentos de monitoreo pueden tener similitudes con los instrumentos de la supervisión,
con la diferencia en los momentos y continuidad de su aplicación, ya que el monitoreo es más
esporádico y selectivo que la supervisión que es permanente y total.
De manera referencial se presentan algunos instrumentos de monitoreo que pueden ser utilizados
por los Especialistas en Monitoreo Social y Técnico:
36
detallada sobre el tema en cuestión. Antes de iniciar la entrevista exhaustiva, el entrevistado
debe dar su consentimiento libre y con conocimiento de causa por escrito.
Cuestionario para Evaluar Actitudes: El objetivo de este instrumento es evaluar las actitudes
relacionados con la educación sanitaria. Este formulario es sugerido para proyectos o
programas cuyo fin es reducir el desconocimiento y baja estima por los servicios de agua y
promover servicios de calidad para los grupos poblacionales más vulnerables.
Prueba pre/post-actividad: Esta técnica se usa para monitorear el resultado obtenido entre
los participantes de una actividad educativa. Se trata de un cuestionario único que debe ser
respondido antes y después de la ejecución de la actividad, a fin de mensurar el nivel (o
aumento) del conocimiento o la satisfacción de los participantes.
37
INSUMOS: Son los recursos materiales, físicos, humanos, de equipamiento, monetarios y
financieros con que se cuenta para iniciar un proceso de producción y en nuestro caso, un proceso
de intervención. La combinación de estos recursos en el proceso de intervención va generando
productos intermedios que son utilizados como insumos en otra fase del proceso y que también son
objeto de transformación, hasta obtener el producto o servicio final que es entregado a la población
objetivo. Reviste especial importancia la cantidad pero sobre todo la calidad de los insumos.
LINEA DE BASE: La línea de base o línea basal o estudio de base es la primera medición de todos
los indicadores contemplados en el diseño de un proyecto de desarrollo social y, por ende, permite
conocer el valor de los indicadores al momento de iniciarse las acciones planificadas, es decir,
establece el 'punto de partida' del proyecto o intervención.
La línea de base suele tener un carácter cuantitativo y puede recurrir tanto a fuentes primarias
(producidas ad-hoc) como a secundarias (por ejemplo: censos, estudios previos), empero se prefiere
las fuentes primarias dado que muchas veces los proyectos de desarrollo conciernen a un escenario
específico no contemplado por otros investigadores.
Dentro del ciclo del proyecto, la línea de base debe realizarse cuando éste se inicia; de lo contrario,
no se contará con datos que permitan establecer comparaciones posteriores e indagar por los
cambios ocurridos conforme el proyecto se vaya implementando. Asimismo, de no realizarse se
hacen menos confiables las posteriores evaluaciones ex - post de resultados y/o de impacto de un
proyecto de desarrollo.
Sin embargo, la línea de base tiene sus limitaciones al constituirse en una “foto” cuantitativa del
momento actual según la problemática identificada, pero no permite explicar los fenómenos o
factores que originan el problema, ni analiza y evalúa el mismo para determinar sus consecuencias,
aspectos que son contemplados en un diagnóstico. Por ello, en los estudios de pre inversión, se
desarrolla el diagnóstico de la situación relacionada con el problema.
Para el Componente 1, se han desarrollado dos Líneas de Base. La primera realizada en el año
2005 orientado a las localidades y poblaciones que conformaban las regiones contempladas en las
denominadas 1ra. y 2da. Convocatoria. La segunda Línea de Base fue elaborada en el año 2010
orientada a las localidades y poblaciones que conformaban las regiones contempladas en las
denominada 3ra. Convocatoria.
MARCO LÓGICO: También conocido como Metodología del Marco Lógico, es una herramienta de
análisis estructurado que facilita el proceso de: Identificación; Diseño; Ejecución y Evaluación de
políticas, planes y programas. Así mismo permite realizar diseños organizacionales, canales y
estrategias de Comunicación, precisándose los problemas, factores, insumos y productos que serán
entregadas a la población objetivos y además los efectos esperados. Se aplica en cualquier fase de
la planificación y es modificable.
Su énfasis está centrado en la orientación por objetivos, la orientación hacia grupos beneficiarios y el
facilitar la participación y la comunicación entre las partes interesadas
38
Es importante hacer una distinción entre lo que es conocido como Metodología de Marco Lógico y la
Matriz de Marco Lógico. La Metodología contempla análisis del problema, análisis de los
involucrados, jerarquía de objetivos y selección de una estrategia de implementación óptima. El
producto de esta metodología analítica es la Matriz (el marco lógico), la cual resume lo que el
proyecto pretende hacer y cómo, cuáles son los supuestos claves y cómo los insumos y productos
del proyecto serán monitoreados y evaluados.
La Matriz de Marco Lógico presenta en forma resumida los aspectos más importantes del proyecto,
posee cuatro columnas que suministran la siguiente información:
Medios de Verificación.
Y cuatro filas que presentan información acerca de los objetivos, indicadores, medios de verificación
y supuestos en cuatro momentos diferentes del ciclo del proyecto:
Fin al cual el proyecto contribuye de manera significativa luego de que el proyecto ha estado
en funcionamiento.
META: La meta es la expresión cuantitativa de un fin, objetivo o resultado. La meta permite que los
avances de las actividades puedan ser medibles y por lo tanto programados y controlados y ser
objeto de seguimiento. La meta tiene como atributos su unidad de medida y una cantidad
39
MONITOREO: El monitoreo es un proceso de recolección de datos que se desarrolla de manera
sistemática en diferentes momentos del desarrollo de un proceso. Para el caso del PRONASAR en
el cual se cuenta con un supervisor por cada ejecutor, el monitoreo reviste una carácter selectivo y
muestral, teniendo como objetivo la eficacia del ejecutor y control de la calidad del proceso y sus
insumos.
El monitoreo permite al mismo tiempo el control de calidad de los insumos utilizados y productos
intermedios entregados el desarrollo de la intervención, verificar que se esté desarrollando
adecuadamente el proceso de supervisión y aunque no es precisamente su motivo principal, permite
la toma de decisiones de carácter operativo para recuperar el ritmo de ejecución o solucionar las
desviaciones con respecto a lo que señalan la programación de indicadores.
El monitoreo del proceso de intervención es desarrollado por los Especialistas en Monitoreo Técnico
y los Especialistas en Monitoreo Social, de acuerdo a las atribuciones conferidas en el Manual de
Operaciones, quienes definen y ejecutan el Plan de Monitoreo.
En el caso del PRONASAR, el monitoreo también incluirá la medición cuantitativa y cualitativa de los
productos y servicios entregados por el Programa a la Población Objetivo.
OBJETIVO: La concepción o acepción del término objetivo, es muy variada dependiendo del
contexto en que sea utilizado. Para nuestro caso el Objetivo se sitúa en un contexto de proyectos de
inversión.
El Objetivo es el enunciado de los resultados que se esperan obtener mediante la puesta en práctica
de un Proyecto o un Programa. Es una visión positiva de una situación problemática identificada a
cierta población objetivo, de una visión programática, permitiendo determinar las actividades que
deben realizarse para alcanzarlos.
40
logro contribuirá el proyecto a mediano o largo plazo. Está relacionado con el impacto de la
intervención a largo plazo por lo que comprende la sostenibilidad de los efectos iniciales.
PLAN DE MONITOREO: Es una herramienta de gestión que permite establecer los objetivos,
estrategias, metas, actividades y responsabilidades del monitoreo.
La elaboración del plan de monitoreo debe tener en cuenta los siguientes aspectos:
Oportunidad: los hechos deben ser observados y registrados de tal forma que
podamos tomar decisiones o medidas correctivas rápidamente.
41
Confiabilidad: Los hechos registrados, deben serlo de manera fidedigna, de tal
manera que representen fielmente los procesos que estamos sometiendo a
observación.
PROBLEMA: Este término también tiene varias acepciones, de las cuales se tomarán las
relacionadas con el tema de Proyectos. Para nuestro caso el problema es una situación negativa
relacionada con el agua que consumen los habitantes de una población y que debe ser revertida. No
es una carencia ni falta de una solución.
También se le denomina “problema central” porque allí confluyen diversas causas y se desprenden
varias consecuencias que tratarán de ser revertidas con una intervención a través de un proyecto de
inversión.
42
El problema central del Componente 1 del PRONASAR es:
“La alta incidencia de enfermedades diarreicas, parasitarias y dérmicas de origen hídrico que
aquejan a las poblaciones rurales en el ámbito de intervención: Piura, Junín, Ayacucho, Arequipa,
Pasco Huancavelica, Huánuco, Lima (Ica), Amazonas, Apurímac, Cusco, Ancash, Lambayeque,
Puno, San Martín y Cajamarca.”
De los diferentes tipos de procesos, destaca el proceso de producción de bienes y servicios el cual
está referido al conjunto de actividades que utilizan recursos productivos como insumos, los
transforman irreversiblemente hasta la entrega de un producto final. Este producto puede ser un bien
o servicio.
Los procesos están condicionados por varios factores como la tecnología, la metodología de
producción, los recursos disponibles, la escala de producción, el tipo de producto, etc.,
caracterizándolos y tipificándolos. Para el caso del PRONASAR los principales condicionantes del
proceso están constituidos por los productos (y subproductos) que entrega el Programa a la
población objetivo, la cantidad y calidad así como los enfoques y principios que rigen las
intervenciones en las localidades rurales.
Cabe señalar que el proceso de producción del PRONASAR es el principal objeto de supervisión,
monitoreo, seguimiento y evaluación.
PRODUCTOS: En el marco del PRONASAR, los productos son los bienes y servicios, tangibles e
intangibles que se obtienen al final de la etapa de ejecución del ciclo el proyecto y que son
entregados a la población objetivo, con la finalidad de que a través de su utilización, se obtenga el
objetivo propuesto solucionando el problema central identificado.
La definición y especificaciones de los productos por entregarse están en relación directa con las
causales de la problemática identificada y los objetivos propuestos. Por ello es de lo más importante
la determinación:
43
Las especificaciones técnicas del producto, de acuerdo con la realidad socio económica, el
medio ambiente y los factores que generan el problema. Se especifican en los expedientes
técnicos de obra y expedientes sociales.
Y los estándares de calidad del mismo, para garantizar que sean lo más efectivos posibles
en la solución de la problemática y alcanzar los objetivos trazados
En el caso del PRONASAR, los productos son procesados y entregados por los OTS y las empresas
contratistas de obras, a las poblaciones de las localidades rurales intervenidas.
De acuerdo con el marco lógico del SNIP del Componente 1 y el Marco De Resultados contenido en
el Convenio de Préstamo y Modificatorias, los Productos que entrega el Componente 1 del
PRONASAR son:
44
PRODUCTO/SUB PRODUCTO EXPRESIÓN DE CANTIDAD ESTANDAR DE CALIDAD MINIMOS
4. Comunidades con % progresivos de Expresado en Unidades % De Familias con conocimientos y
familias que demuestran prácticas de prácticas adecuadas de educación sanitaria
lavado de manos adecuadas. en manipulación del agua, lavado de manos
y mantenimiento de UBS
Familias Capacitadas Expresado en Unidades/hogares Familias describe los 5 momentos críticos
del lavado de manos, manipula y almacena
adecuadamente el agua
Familias con Prácticas Expresado en Unidades/hogares Familias se lavan las manos correctamente
Familias que mantienen sus Expresado en Unidades/hogares Familias que tienen sus UBS sin restos de
UBS heces, orinas, olores fuertes ni desperdicios.
El PRONASAR desarrolla sus actividades participativas bajo el enfoque de demanda, por lo cual la
población y las autoridades locales realizan acuerdos formalizados en Convenios para solicitar su
participación en el Programa. Así mismo, una vez que la participación es elegible, se formalizan con
Convenios entre el PRONASAR, las autoridades locales y la población, que constituyen acuerdos de
participación durante la intervención del Programa y sobre la sostenibilidad de los servicios
implementados que es la base de la obtención de los impactos deseados. Es por ello que los efectos
inmediatos y los impactos se en encuentran en el ámbito de la responsabilidad social de la
comunidad y el municipio.
Los resultados cuando se refieren a los productos obtenidos, también se denominan resultados
alcanzados. Cuando se refieren a la obtención de efectos de corto plazo (luego de entregados los
productos) se denominan resultados esperados.
El enfoque principal del seguimiento es la eficacia del trabajo que se está desarrollando. Igual como
en el caso del monitoreo, el seguimiento se orienta al control sobre la ejecución de
responsabilidades asignadas y a la facilitación de la evaluación que se orienta adicionalmente a la
eficiencia. Por ello el seguimiento aunque también tiene un carácter sistemático, se desarrolla de
manera más esporádica a efectos de contar con la información del monitoreo y supervisión pero en
un menor plazo que la evaluación.
45
Como se señaló, el seguimiento se orienta al y permite el control de calidad del proceso de
intervención, por ello que las decisiones que se toman a este nivel son de carácter táctico, con miras
a revertir las tendencias negativas que se vienen observando en los indicadores. Sin embargo no es
necesario esperar el proceso de seguimiento para tomar decisiones tácticas, pues dependerá de la
gravedad de las distorsiones que se identifique en el proceso de monitoreo e informado por los
Especialistas en Monitoreo para que se tomen estas decisiones.
Por el tipo de análisis que requiere y el nivel de decisiones que se toman, el seguimiento está a
cargo de los Administradores de Contrato.
El enfoque sistémico permite ver a la organización o el proyecto como un todo y no como una serie
de partes que pueden o no estar relacionadas. Todo sistema se puede dividir en subsistemas. La
interacción entre subsistemas se conoce como „acoplamiento‟. Es bueno hacer notar que el
desacoplamiento de subsistemas puede tener un efecto negativo, o contraproducente: cada uno de
los subsistemas trabaja correctamente, pero el sistema en su totalidad no funciona bien porque los
subsistemas operan sin tener en cuenta al sistema como un todo.
En este marco conceptual, se deben identificar aquellos factores que pueden influir en una
interrupción de los servicios o en que éstos no sean demandados en la cantidad esperada. Por
ejemplo, la disponibilidad de recursos financieros, la organización y gestión, los riesgos de
desastres, la apropiación del PIP por parte de los usuarios, las características del producto que se
ofrece, la disponibilidad de insumos, capacidades para mantenimiento y reparaciones de los
equipos, capacidad para adecuación a cambios tecnológicos, etc.
46
y saneamiento, e inclusive en intervenciones actuales realizadas de acuerdo al SNIP que requiere
de un análisis de sostenibilidad, pero que terminan siendo meros aspectos declarativos dentro del
Proyecto. Nuestra intervención es integral no solo en la parte constructiva (inversión conjunta tato en
infraestructura tanto de agua como saneamiento), también comprende el acometimiento integral del
problema en los aspectos de infraestructura, social, institucional y de gestión, que deviene en los
sendos programas de capacitación y asistencia técnica con la finalidad de que precisamente se
garantice que los factores de sostenibilidad económica, social, institucional y medio ambiental sean
efectivos, permitiendo al mismo tiempo que los efectos e impactos sean sostenibles en el tiempo.
Este proceso implica una recolección permanente de información sobre todos los aspectos del
proceso que se viene desarrollando para la obtención de los productos (y sub productos) que se van
a entregar a la población objetivo. Este proceso implica observar, controlar, verificar (control de
calidad), aprobar operativamente, registrar, corregir e informar de los avances que obtiene el
ejecutor en el transcurso del tiempo y del desarrollo de los procesos.
Cabe señalar que como una característica de la intervención del PRONASAR, la supervisión tiene
dos dimensiones bien marcadas: Por un lado es un proceso de vigilancia, evaluativo y de
conformidad, mediante el cual se verifican avances, resultados y limitaciones y por otro lado, es un
proceso de apoyo, de recomendaciones y de aprendizaje de la experiencia, teniendo como propósito
el perfeccionamiento del conocimiento institucional de la intervención.
47
BIBILIOGRAFIA
Aldunate, Eduardo (2004), Metodología del Marco Lógico, Boletín del Instituto N° 15, ILPES,
Santiago, Chile, 47 pp.
Espinoza Corrales, Leana y Van de Velde Herman (2007), Monitoreo, Seguimiento y Evaluación
de Proyectos Sociales, FAREM Esteli – UNAM – Managua/CICAP - Esteli Managua,
Nicaragua, 136 pp.
Ortegón Edgar, Pacheco Juan y Prieto Adriana (2005), Metodología del marco lógico para la
planificación, el seguimiento y la evaluación de proyectos y programas, Serie Manuales N° 42,
ILPES, Santiago de Chile, Chile, 124 pp.
48
EXPOSICIONES Y TALLERES
Andrés, Luis Alberto (2006) Introducción al Marco Lógico y el Sistema de monitoreo como
herramientas de trabajo en la Agenda de resultados, Taller Evaluando Impacto, Banco Mundial,
Buenos Aires, Argentina
Rawlings, Laura (2009), El Rol del Monitoreo en la Evaluación de Impacto, Taller Sobre
Evaluación de Impacto, Banco Mundial, Lima Perú.
Rodríguez-García, Rosalía (2008) Gestión Por Resultados, Taller Evaluando Impacto, Banco
Mundial, Madrid, España
49
ANEXOS
50
ANEXO Nº 01
MARCO LÓGICO DEL COMPONENTE 1 DEL PRONASAR
OBJETIVOS INDICADORES MEDIOS DE VERIFICACIÓN SUPUESTOS
51
OBJETIVOS INDICADORES MEDIOS DE VERIFICACIÓN SUPUESTOS
52
OBJETIVOS INDICADORES MEDIOS DE VERIFICACIÓN SUPUESTOS
Elaboracion de Planes de Capacitación a JASS N° de Planes de Capacitación a JASS aprobados Informe de Supervisión / Informe aprobatorio
53
ANEXO N° 02
MATRIZ DE RESULTADOS DEL COMPONENTE 1
ESTRUCTURA DE RESULTADOS REVISADOS DEL PROYECTO
Objetivo del Proyecto de Desarrollo (PDO)
El objetivo del proyecto de desarrollo (PDO) era incrementar el uso sostenible de las facilidades del Suministro de Agua y Saneamiento del área rural y pequeñas ciudades poniendo enfasis en la mejora de las prácticas de higiene
y capacitación en operación y mantenimiento.
Unidad de Línea base del Progreso a la Valores acumulados meta Frecuencia Datos de Responsabilidad
medida proyecto fecha origen/ para recolección
Niveles de indicadores de resultados del PDO Núcleo original inicio 2010 metodología de datos Comentarios
2002
2011 2012 2013
1. Número de personas provistas de acceso a Los datos estaran
"Mejores Fuentes de Agua" Actas de disponibles en tanto las
en el marco del proyecto bajo el Componente 1. X Número 0 158,469 162,000 172,000 256,400 Bianualmente recepción de UGP PRONASAR obras estén concuidas.
obra.
54