Академический Документы
Профессиональный Документы
Культура Документы
Guas de DED 1
IDENTIFICACIN Y USO DE INDICADORES DE LOGRO
CONTENIDOS
INTRODUCTION ............................................................................................................................ 1 1. BASIC CONCEPTS ........................................................................................................................ 2 1.1. Definition .................................................................................................................................. 2 1.2. Types ....................................................................................................................................... 4 1.3. Indicators and levels of objectives ........................................................................................... 5 1.4. Indicators and means of verifications ...................................................................................... 8 1.5. Indicators and targets ............................................................................................................ 10 1.6. A good indicator is SMART.................................................................................................... 11 2. PRACTICAL APPLICATION ......................................................................................................... 13 2.1. Selection of indicators............................................................................................................ 13 2.2. Revision of indicators............................................................................................................. 14 2.3. Indicators as a tool for monitoring.......................................................................................... 15 2.4. Indicators in evaluation .......................................................................................................... 16 3. INDICATORS COMMONLY USED IN IPEC (EXAMPLES).......................................................... 18 SELECTED REFERENCES ON INDICATORS................................................................................ 34 ANNEX: Matrix of objectives and indicators ..................................................................................... 35
Guas de DED 1
Indicadores de Logro
INTRODUCCIN
La programacin de proyectos de cooperacin tcnica en el Programa Internacional para la Erradicacin del Trabajo Infantil (IPEC) se enmarca en la gestin basada en resultados y objetivos. Una vez que se detecta un problema vinculado con el trabajo infantil, el primer paso en la planificacin es la definicin de la situacin de llegada deseada, descrita a travs de los objetivos inmediatos de un proyecto o programa. Posteriormente se determinan los productos, las actividades, los insumos y los supuestos necesarios para alcanzar esos objetivos. Uno de los ingredientes clave del diseo de un proyecto es la identificacin de las sealas que permitirn que sus administradores o, para el caso, cualquier observador externo constaten que los objetivos han sido alcanzados. Estas seales son los indicadores de logro de los objetivos. La seleccin de indicadores debe ser entendida como una parte integral de la definicin de los objetivos inmediatos, y por lo tanto como un elemento de la programacin de cualquier intervencin planificada de desarrollo, en este caso orientada hacia la erradicacin del trabajo infantil. Durante y despus de la ejecucin de la intervencin, los indicadores sern una herramienta esencial para el seguimiento y la evaluacin. Este documento es el primero de una serie que pretende facilitar la tarea de disear y administrar proyectos y programas en el marco del IPEC. En este caso, la gua intenta servir de orientacin para el personal vinculado con el programa en el proceso de identificar y utilizar indicadores de logro. El texto complementa las instrucciones incluidas en varios documentos oficiales y manuales de la OIT. Existe una diferencia de nivel y alcance entre los indicadores de logro a lo que se refieren estas pginas y los indicadores ms generales sobre trabajo infantil, utilizados en encuestas de ndole nacional, SIMPOC u otros instrumentos de investigacin. Mientras estos ltimos pueden ser empleados como herramientas generales para valorar la magnitud del problema, examinar factores y causas potenciales del trabajo infantil y para concienciar a la poblacin o quienes tomas las decisiones, los primeros slo resultan tiles en el contexto de las intervenciones especficas promovidas por el IPEC. Esta gua fue preparada por el Equipo de Diseo, Evaluacin y Base de Datos con la colaboracin de Aurelie Lassauniere y la participacin activa de muchos colegas de IPEC en el terreno. Se trata de un documento vivo, y como tal se enriquecer con el uso y la experiencia acumulada a travs de la gestin y ejecucin de los proyectos y programas del IPEC.
Guas de DED 1
Indicadores de Logro
1. CONCEPTOS BSICOS
1.1. Definicin
Los indicadores son mediciones que sirven para proporcionar una evidencia verificable acerca de la consecucin de los propsitos de un proyecto o programa, aadiendo precisin a la formulacin de los objetivos inmediatos. Los gestores de un proyecto deben ser capaces de identificar las pruebas que sern empleadas para determinar el xito o fracaso de la intervencin. En el caso de proyectos de accin directa, los indicadores revelarn la medida en que los beneficiarios se encuentran en una situacin mejor como resultado de la intervencin. En proyectos de desarrollo institucional, los indicadores se referirn a lo que las instituciones son capaces de hacer despus de la ejecucin de las actividades. Para reflejar las mltiples facetas de un objetivo, en general ser necesario definir varios indicadores. En el recuadro 1 se presentan cuatro ejemplos de indicadores posibles para distintos tipos de objetivos inmediatos.
Guas de DED 1
Indicadores de Logro
1.1. Tasa de matriculacin de nios en escuelas de la comunidad X 1.2. Tasa de matriculacin de nias 1.3. Tasa de abandono de nios en las escuelas de la comunidad 1.4. Tasa de abandono de nias 2.1. Proporcin de nios /as trabajadores /as en el total de la fuerza de trabajo de la comunidad Y 2.2. Proporcin de nios trabajando en ocupaciones peligrosas (sobre total de nios trabajadores) 2.3. Proporcin de nias trabajando en ocupaciones peligrosas (sobre total de nias trabajadoras)
ACCIN DIRECTA
EJEMPLO 2
DESARROLLO INSTITUCIONAL
EJEMPLO 4
El Ministerio de Trabajo es capaz de monitorear de manera sistemtica el nmero de menores trabajadores en las empresas del sector minero. La ONG X ha mejorado su capacidad para gestionar proyectos de trabajo infantil
3.1. Porcentaje de compaas mineras inspeccionadas por el Ministerio de Trabajo al menos una vez por ao (sobre el total de las empresas registradas) 3.2. Porcentaje de denuncias procesadas y llevadas a trmino en el Ministerio de Trabajo 3.3. Nmero de inspectores de trabajo entrenados para monitorear la incidencia de trabajo infantil en el Ministerio
EJEMPLO 3
4.1. Nmero de proyectos que benefician a (ex) nios /as trabajadores /as con financiacin externa gestionados pro la ONG X 4.2. Nmero de (ex) nios / as trabajadores /as beneficiados por proyectos gestionados por la ONG X 4.3. Proporcin de personal entrenado para gestionar eficazmente proyectos sobre trabajo infantil en la ONG
En el ejemplo 1, el mejor acceso a la educacin formal se define a travs de dos parmetros: la tasa de matriculacin y la tasa de abandonos. Esto significa que el proyecto pretende alentar a las familias para que enven a los nios y nias a la escuela, por un lado, y mejorar la capacidad del sistema para retener a los nios y nias, por el otro. Si las tasas de matriculacin aumentan significativamente y las tasas de abandono se reducen, la conclusin lgica ser que el proyecto ha sido exitoso en mejorar el acceso de los nios y nias a las escuelas de la comunidad. La divisin de los indicadores por gnero puede mostrar si la intervencin ha creado sesgos indeseados. El ejemplo 2 demuestra que la incidencia de trabajo infantil es calculada considerando los porcentajes de nios /as trabajadores /as en el total de la fuerza de trabajo de la comunidad. Los ltimos dos indicadores reflejan la prioridad otorgada a la eliminacin de las peores formas de trabajo infantil. Si el primer indicador permanece estable y los otros dos muestran una reduccin, la estrategia habr sido efectiva para atacar el trabajo peligroso pero no el problema del trabajo infantil como un todo. El ejemplo 3 define la capacidad del Ministerio para monitorear los lugares de trabajo en trminos de la proporcin de empresas inspeccionadas al menos una vez por ao, las denuncias procesadas y llevadas a trmino y el nmero de inspectores entrenados. En el ejemplo 4, la capacidad de la ONG se mide a travs del nmero de proyectos con financiacin externa, el nmero total de nios /as beneficiados /as por estos proyectos y el porcentaje de personas entrenadas en temas vinculados con el trabajo infantil sobre el total del personal de la organizacin.
Guas de DED 1
Indicadores de Logro
Los indicadores son entonces las seales que permiten a los administradores del proyecto realizar un seguimiento de la ejecucin del programa y justificar las percepciones de xito o fracaso. La definicin de buenos indicadores es tambin clave para la evaluacin, ya que el anlisis del desempeo se realiza normalmente de acuerdo con los objetivos predefinidos, que a su vez son determinados con mayor precisin a travs de los indicadores.
1.2. Tipos
Existen diferentes tipos de indicadores. De las clasificaciones posibles, en esta gua haremos referencia a dos. La primera se refiere a la relacin del indicador con el objetivo: en este caso, los indicadores pueden ser directos o indirectos (proxies.) La segunda tipologa tiene que ver la informacin requerida para dar contenido a los indicadores: as, pueden ser clasificados como cuantitativos o cualitativos. A continuacin, una breve definicin de cada uno de estos tipos: Los indicadores directos tienen una relacin evidente e inequvoca con el objetivo (por ejemplo, el porcentaje de menores en la fuerza de trabajo es un indicador directo del objetivo eliminacin del trabajo infantil.) El uso de este tipo de indicadores es recomendable, aunque en muchos casos la obtencin de la informacin pueda resultar una tarea difcil u onerosa. Los indicadores indirectos (proxies) tienen una relacin oblicua con el objetivo (por ejemplo, el consumo es un indicador indirecto del ingreso familiar.) El uso de indicadores indirectos requiere una explicacin clara de la relacin entre esta medida y el objetivo. En el caso del ejemplo, se tratara de explicar por qu y en qu medida un incremento del consumo seala una mejora de los ingresos. Los indicadores cuantitativos reflejan datos que pueden ser expresados con nmeros. El uso de este tipo de indicadores es recomendable porque son relativamente fciles de medir y facilitan las comparaciones en el tiempo y con otros proyectos (por ejemplo, el nmero de nios y nias retirados del trabajo puede ser un indicador del objetivo de reduccin del trabajo infantil.) Los indicadores cualitativos reflejan informacin que debe ser expresadas mediante palabras o conceptos. Generalmente estn relacionados con comportamientos o con la calidad de los servicios ofrecidos (por ejemplo, la percepcin de los lderes comunitarios sobre los peligros derivados del trabajo infantil.) En muchos casos es posible realizar esfuerzos de cuantificacin de indicadores cualitativos para facilitar las comparaciones y mostrar impacto (por ejemplo, porcentaje de lderes comunitarios que han modificado su percepcin de los peligros derivados del trabajo infantil.) No existen reglas para determinar cul es el tipo ms apropiado de indicador en casos particulares. Siempre que sea posible, el uso de indicadores directos y cuantitativos es recomendable, aunque el anlisis deber ser realizado caso por caso de acuerdo con criterios establecidos, como las fuentes de informacin, el costo de recopilar la informacin necesaria, etc. Lo ms importante es, siempre, que los indicadores deben ser verificables. Esto significa que la informacin necesaria tiene que ser accesible y que, con esta informacin, dos observadores distintos deberan ser capaces de llegar a la misma conclusin. En la seccin 2.1 se presenta un mtodo sencillo para la seleccin de indicadores.
Guas de DED 1
Indicadores de Logro
Como ya se ha mencionado, de acuerdo con la metodologa de la OIT para la formulacin, monitoreo y evaluacin de programas y proyectos los indicadores slo se necesitan en el nivel de los objetivos inmediatos. Esta es la razn por la que son denominados indicadores de logro. Generalmente, no es preciso definir indicadores para productos o para actividades. Estos elementos deben ser diseados y formulados para que sea sencillo realizar el seguimiento y determinar si las actividades han sido realizadas y los productos producidos de acuerdo con lo planificado. Todos los indicadores deben estar ligados a algn objetivo inmediato. Al mismo tiempo, para cada objetivo ser preciso definir al menos un indicador (y preferiblemente ms de uno), proporcionando un medio para verificar su cumplimiento. Es importante recordar, sin embargo, que los indicadores no son objetivos, ni productos ni actividades (vase el recuadro 2); los administradores del proyectos deben en todo momento recordar que su tarea es alcanzar objetivos, y no indicadores.
En la programacin estratgica de IPEC existen intervenciones que se sitan a diferentes niveles, y por lo tanto hay distintos niveles de objetivos. En general, IPEC como programa global tiene un objetivo general la eliminacin del trabajo infantil, dando prioridad a las peores formas que sirve como objetivo de desarrollo y la razn de ser de todos los Programas de Duracin Determinada 1 (PDD), los Programas-pas (PP) y los proyectos. Algunos de estos programas y proyectos estn integrados por componentes discretos, de menor tamao, denominados programas de accin (PA.) Para que la estrategia sea consistente, la relacin entre un PP y un PA debe ser tal que un producto 2 del PP (o del proyecto) sea equivalente al objetivo inmediato de un PA. La columna de la izquierda del grfico de la pgina siguiente intenta ilustrar estas relaciones lgicas. Los indicadores globales del objetivo de IPEC han sido definidos tal como se demuestra en la seccin superior de la columna derecha del grfico. Los indicadores de logro en cada nivel deben estar en relacin con los objetivos inmediatos del PDD, el PP, los proyectos o los PA.
1 IPEC como programa global posee una serie de metas definidas para cada bienio que pueden ser consultadas en el documento de Programacin y Presupuesto del perodo. 2 El hecho de que algunos programas-pas no hayan sido definidos a travs de un documento de proyecto no invalida este marco de planificacin estratgica. Todos los PP, con o sin documento de proyecto, deben definir objetivos estratgicos vinculados con las metas de IPEC. Estos objetivos sern alcanzados a travs de la ejecucin de programas de accin.
Guas de DED 1
Indicadores de Logro
Como principio general, los indicadores en un nivel especfico no pueden ser empleados por las intervenciones de un nivel superior. Sin embargo, en algunos casos pueden ser empleados como proxies, y en otros ser preciso realizar un esfuerzo de agregacin. Por ejemplo, la ratificacin de uno de los convenios de la OIT puede ser un indicador de logro en un programa-pas y el nmero agregado de ratificaciones es uno de los indicadores de logro de IPEC como un todo. Lo mismo puede afirmarse del nmero de nios y nias retiradas del trabajo en un programa-pas y en los programas de accin que lo conforman. Los indicadores de los objetivos superiores pueden ser utilizados como una referencia en programas o proyectos de un nivel inferios, o como una herramienta para medir los efectos de largo plazo y la sostenibilidad. Esto es sumamente til en evaluaciones de impacto y ex post. En la mayora de los casos, sin embargo, no debern ser incluidos en el documento de proyecto. El recuadro 4, ms adelante, incluye un ejemplo de indicadores seleccionados de acuerdo con el nivel de la planificacin.
Guas de DED 1
Indicadores de Logro
Programacin estratgica
OBJETIVO El trabajo infantil es progresivamente eliminado, dando prioridad a la urgente erradicacin de sus peores formas y a la provisin de alternativas para los nios y nias y sus familias.
Indicadores de logro
Estados miembro que ratifican el C. 138 Estados miembro que ratifican el C. 182 Estados miembro que realizan estudios cuantitativos y cualitativos sobre trabajo infantil Estados miembro que formulan polticas y programas especficando metas y plazos para la eliminacin de las peores formas Nios y nias que se benefician de la accin de la OIT
Contribuyen a
Aggregation Indicadores de logro especficos para los objetivos inmediatos de PDD, PP y proyectos Aggregation Indicadores de logro especficos para los objetivos inmediatos de los PA
IPEC
OBJETIVOS INMEDIATOS / ESTRATGICOS Contribuyen a Programas de accin Productos OBJETIVOS INMEDIATOS Productos Actividades Recursos
Actividades Recursos
Guas de DED 1
Indicadores de Logro
Los medios de verificacin son las fuentes de informacin de donde es posible extraer la informacin necesaria para dotar de contenido a los indicadores, as como la metodologa empleada para conseguir los datos. Durante la fase de diseo del proyecto es importante reflexionar acerca de los medios de verificacin posibles, ya que la accesibilidad de la informacin es uno de los criterios centrales para incluir un indicador en la matriz del marco lgico. La determinacin de medios de verificacin en las primeras etapas del diseo es tambin esencial para una buena gestin basada en resultados. Recuadro 3. Medios de verificacin (ejemplos) Los medios de verificacin pueden ser primarios (por ejemplo, producidos por el monitoreo del proyecto) o secundarios (por ejemplo, estadsticas nacionales o locales.) El origen de los datos tiene que ser cuidadosamente analizado para determinar su fiabilidad y el costo de conseguir la informacin. En general, las fuentes secundarias tienen ventajas de costo y facilidad de obtencin, pero en muchos casos los datos no podrn vincularse con el indicador o no sern dignos de confianza. Por ejemplo, puede que la informacin sea relevante en el mbito nacional pero irrelevante en el contexto local; o bien puede que no est disponible en el momento necesario. En el otro extremo, la informacin producida por el proyecto es siempre relevante y, por definicin, estar disponible cuando se necesita; sin embargo, el sistema para obtenerla de una manera sistemtica consumir abundantes recursos, monetarios y de tiempo. Un observador externo podr asimismo cuestionar la objetividad de la informacin, ya que esta ha sido producida por el propio proyecto. El sistema de monitoreo, por lo tanto, debe ser transparente y estar diseado de manera tal que los indicadores sean verificables. El recuadro 3 proporciona algunos ejemplos de medios de
Primarios Sistema de monitoreo del proyecto Sistema de monitoreo de trabajo infantil establecido por el proyecto Cuestionarios de evaluacin de cursos de entrenamiento Evaluaciones rpidas / encuestas organizadas por el proyecto Informantes clave (en la comunidad o en los hogares)
Secundarios Datos estadsticos producidos pro autoridades nacionales o locales (ejemplo, encuestas de hogares) Datos estadsticos producidos por organizaciones internacionales Datos de registro de las unidades de inspeccin del trabajo o de sistemas de monitoreo externos al proyecto Dossier de prensa y recortes de medios Informes de la agencia implementadora
verificacin. Un medio de verificacin debe ser definido para cada indicador durante la fase de diseo. Es recomendable presentar la informacin de manera clara y fcil de leer utilizando una tabla sencilla con los objetivos inmediatos, los indicadores y los medios de verificacin (un formato posible se presenta en el anexo.)
Guas de DED 1
Indicadores de logro
Los medios de verificacin deben asegurar la consistencia de la medicacin del indicador durante toda la vida del proyecto, para que los cambios que se observen no se deban a diferencias metodolgicas sino al desarrollo del proyecto. La informacin recopilada a travs de estas fuentes debe respetar los siguientes criterios: Validez. Los datos conseguidos deben ser mediciones correctas del indicador. La validez de los datos puede verse afectada por varios factores, siendo los ms importantes los errores de medicin, las muestras no representativas o simples errores de transcripcin. Fiabilidad. La fiabilidad de los datos se refiere a la estabilidad o consistencia en el proceso de recoleccin de la informacin. Asegurarse de que los datos sean fiables requieren, no slo que el indicador sea objetiva y claramente definido, sino tambin que el proceso de recopilacin de los datos sea consistente de perodo en perodo (un mtodo consistente de muestro, los mismos instrumentos y procedimientos de medicin, etc.) Temporalidad. La temporalidad tiene dos elementos: la frecuencia y la actualidad. Frecuencia significa que la informacin empleada debe estar disponible de manera regular para informar las decisiones de los administradores del proyecto. Actualidad significa que los datos deben ser nuevos y vigentes para que sean tiles en el momento de decidir.
Si la informacin sobre los medios de verificacin es rica y amplia puede ser til desarrollar una tabla ms compleja que la que se incluye en anexo, identificando la frecuencia de recopilacin de informacin, el formato de la informacin y el mtodo de archivo, y el responsable de asegurar que el trabajo sea realizado (vase el recuadro 5.) Asignar responsabilidades para la recopilacin de informacin a individuos o entidades asegura que la informacin sea actualizada regularmente. Esta tabla debera formar parte del plan de monitoreo del proyecto (y no necesariamente del documento de proyecto.) La definicin de los medios de verificacin es bsica en la gestin del proyecto y tiene que ser realizada durante el diseo o como la primera actividad en la ejecucin.
OBJETIVO INMEDIATO 1: INDICADOR MEDIO DE VERIFICACIN FRECUENCIA FORMATO Y MEDIO DE ARCHIVO RESPONSABILIDAD
OBJETIVO INMEDIATO 2: INDICADOR MEDIO DE VERIFICACIN FRECUENCIA FORMATO Y MEDIO DE ARCHIVO RESPONSABILIDAD
Guas de DED 1
Indicadores de logro
En ocasiones es difcil identificar las metas o los valores que el indicador debe medir en cada etapa del proyecto en el momento de la formulacin y sin un estudio completo de lnea de base. Por lo tanto, los indicadores deben ser considerados como seales neutras, mientras que las metas representan los valores que deben ser alcanzados en distintos momentos. La ltima meta de cada indicador debe reflejar la situacin esperada al momento de finalizacin del proyecto, mientras que las metas intermedias reflejarn los cambios en la situacin durante la ejecucin. Siempre que sea posible, las metas ltimas deben estar integradas en el enunciado de los objetivos inmediatos. Idealmente, las metas sern elaboradas durante el diseo del proyecto, una vez que la estrategia y la definicin de los objetivos inmediatos las sugieran. La informacin de base para los indicadores ser proporcionada por el anlisis de situacin para identificar qu es lo que se desea cambiar (el valor al inicio del proyecto), mientras que la estrategia identificar el punto de llegada deseable (particularmente, la meta ltima.) Si la informacin de base no est disponible en el momento de la formulacin, una de las primeras actividades del proyecto ser el establecimiento de una lnea de base para los indicadores que permita revisar la meta final y fijar metas intermedias. Al reflejar la capacidad del proyecto en trminos de recursos y probabilidad de alcanzar a los beneficiarios, la fijacin de metas o valores intermedios para los indicadores puede ayudar a gestionar los recursos para generar los productos esperados, acelerando la ejecucin de ciertas actividades o demorando otras, maximizando as el empleo de recursos. Las metas intermedias sern ms fcilmente identificables en el caso de indicadores cuantitativos. Una vez que son identificadas, las metas pasan a formar parte del plan de monitoreo.
Final proyecto
Planif.. Alcanzado
Notas
Final proyecto
Planif.. Alcanzado
Notas
Nota: en la fase de diseo, slo es preciso incluir los datos planificador. La matriz incluye una columna para reflejar informacin sobre lo que se ha alcanzado, con el objetivo de que pueda ser utilizadas durante el seguimiento.
En el recuadro 6 se presenta un ejemplo de matriz til para la presentacin de indicadores y metas. Es especialmente importante fijar metas con respecto al nmero de beneficiarios. Una de las metas de IPEC como programa global es beneficiar a un determinado nmero de nios y nias a travs de las intervenciones que promueve. Cada PDD, PP, proyecto o PA debe identificar sus beneficiarios, fijar el nmero que se quiere alcanzar y establecer los indicadores de logro necesarios.3 Los beneficiarios directos son los nios y nias alcanzados por las medidas de prevencin y aquellos retirados del trabajo a los que se proporciona asistencia social. Los beneficiarios indirectos son los nios y nias alcanzados indirectamente a travs del fortalecimiento institucional, la sensibilizacin y la movilizacin social. Las metas para beneficiarios indirectos se fijan estimando el nmero de
10
Guas de DED 1
Indicadores de logro
menores que potencialmente sern beneficiados por la mayor capacidad de las instituciones fortalecidas, o gracias a la conciencia adquirida por sectores de la poblacin con posterioridad a la sensibilizacin.
En esta seccin se presentan algunos criterios conocidos por las siglas en ingls SMART, inteligente para determinar si un indicador ha sido diseado correctamente. Es importante destacar que slo tiene sentido aplicar los criterios SMART a los indicadores si los objetivos inmediatos son SMART. Es importante fijar objetivos realistas y pertinentes, consensuados con los principales implicados y que pueden ser alcanzados en el momento de la finalizacin del proyecto. Por lo tanto, un buen indicador ser... e pecfico, reflejando los cambios que el proyecto quiere provocar, sin ambigedad y evitando medir las variaciones que se deben a otras influencias (factores externos.) A menudo esta especificidad se obtiene utilizando varios indicadores, por lo que si uno de ellos cambia siguiendo un patrn diferente al esperado la conclusin lgica ser que est siendo afectado por factores externos. Algunos de estos indicadores pueden ser diseados para monitorear los factores externos; normalmente, son denominados como indicadores de contexto (vase el recuadro 7 para un ejemplo.) Es siempre til especificar claramente el grupo meta y la localizacin en el enunciado del indicador (por ejemplo, tasa de abandono escolar entre los nios / as beneficiados /as en las escuelas existentes en el rea cubierta por el proyecto.). ensurable, con la certeza de que informacin necesaria puede ser obtenida con los medios existentes. No tiene sentido emplear indicadores para los que no habr datos en la lnea de base o para los que la correspondiente informacin al final del proyecto ser imposible de recopilar. cordados o consensuados por parte de todos los implicados. Los participantes esenciales en el proyecto, incluyendo donantes, instituciones asociadas, organizaciones relevantes y grupos de beneficiarios deben compartir la interpretacin de las diferentes mediciones posibles del indicador y de los criterios de xito. Esto es particularmente importante para los indicadores indirectos o proxies. elevantes con respecto al objetivo inmediato con el que estn vinculados, para que el esfuerzo de conseguir la informacin no sea en vano. El coste y tiempo de obtener datos deben ser criterios esenciales a la hora de elegir entre dos indicadores igualmente pertinentes. emporalmente determinados para que un observador externo sepa en qu momento el cambio esperado debe producirse, de acuerdo con las metas fijadas. Hay otras caractersticas que definen a un buen indicador. Una de ellas, ya mencionada, es que todos los indicadores deben ser verificables. Otra es que deben ser simples: en ocasiones, dos o ms de dos indicadores son incluidos en el mismo enunciado (por ejemplo, tasa de matrcula y de abandono en educacin formal); en otros casos, los indicadores necesitan la definicin de otros indicadores para ser verificables (por ejemplo, condiciones de vida de los nios, percepcin del trabajo infantil en la opinin pblica o estado de salud.) Esto puede afectar la especificidad del indicador y la capacidad del equipo de gestin del proyecto para obtener las mediciones. En estas circunstancias, es conveniente dividir los indicadores complejos en tantas partes como sea posible.
11
Guas de DED 1
Indicadores de logro
Existe otra posibilidad: que lo que se haya diseado sea realmente un ndice, o sea una medida nica que combina varios indicadores. El ndice de Desarrollo Humano del PNUD, por ejemplo, incluye tres indicadores diferentes ingreso per cpita, esperanza de vida al nacer y nivel educativo, reflejando as tres dimensiones esenciales del desarrollo. Los ndices son herramientas poderosas, pero su construccin requiere importantes conocimientos tcnicos. Como principio general, las intervenciones de IPEC no incluyen ndices.
Un proyecto orientado a la eliminacin del trabajo infantil en una comunidad campesina ejecuta actividades de generacin de ingresos para familias de ex nios trabajadores, suponiendo que los recursos generados son necesarios para compensar el dinero perdido al evitar que los menores trabajen. La teora detrs del proyecto es la siguiente: se generan alternativas productivas en la comunidad Las familias aprovechan las nuevas oportunidades El ingreso de las familias beneficiadas por el proyecto se eleva (objetivo inmediato) los menores permanecen en la escuela y fuera del mercado laboral. Un indicador posible para el objetivo inmediato sera el ingreso familiar; un incremento de este indicador demostrara el xito del proyecto. Pero el ingreso familiar puede varias debido a muchas razones adems de las actividades ejecutadas por el proyecto (existencia de otros programas de generacin de ingresos, subsidios otorgados a familias rurales, aumento en el precio de los cultivos producidos en la zona, etc.) Estos son factores externos incluidos en el proyecto como supuestos que estn fuera del control del equipo de gestin. Para evitar el problema, en el diseo se establecen una serie de indicadores de contexto para los supuestos definidos: existencia de nuevas fuentes de ingresos adicionales para familias pobres de la regin y precios pagados a los agricultores por sus productos. Al monitorear la evolucin de estas variables, ser ms fcil establecer la relacin de causalidad o atribucin entre los cambios percibidos en el ingreso y las actividades del proyecto, suponiendo que el indicador del objetivo vara y los indicadores de contexto permanecen estables. Aunque por lo general el uso de indicadores de contexto est implcito en las actividades de seguimiento, es recomendable incluirlos en el plan de monitoreo para asegurarse de que un observador externo ser capaz de llegar a la misma conclusin que los administradores del proyecto. Es importante recordar que de todas maneras es imposible tener todas las variables bajo control, por lo que una interpretacin informada de los datos ser siempre necesaria.
12
Guas de DED 1
Indicadores de logro
2. APLICACIN PRCTICA
2.1. Seleccin de indicadores
La seleccin de indicadores de logro apropiados y tiles es un proceso relativamente simple, pero requiere reflexin, colaboracin y un ejercicio de construccin de consensos. Es recomendable emplear una estrategia participativa en la seleccin de indicadores para que todos los implicados puedan acordar el alcance de los objetivos inmediatos. De hecho, la colaboracin cercana con los principales implicados (aquellos que recogern la informacin, los que la utilizarn y los que tienen la capacidad tcnicas para comprender las fortalezas y limitaciones de indicadores especficos) y el aprovechamiento de su experiencia ayudar a identificar los indicadores ms adecuados para un determinado proyecto. Para seleccionar indicadores, el equipo de diseo puede seguir estos cuatro sencillos pasos: 1. Clarificacin de los objetivos. Los buenos indicadores de logro comienzan con buenos enunciados de objetivos, comprensibles y consensuados con los principales implicados. Una cuidadosa consideracin de la situacin que se desea alcanzar es muy necesaria. Es importante, por lo tanto, revisar la enunciacin exacta de los objetivos inmediatos. 2. Clarificacin del cambio esperado. Qu cambiar? Una situacin, una condicin, el nivel de conocimientos, un comportamiento? Hay diferentes tipos de indicador (ver el punto 1.2) para distintos tipos de cambio. En muchos casos es tambin necesario identificar la unidad de anlisis (nios y nias, familias, comunidades, regionales) en la que el cambio tendr lugar. 3. Desarrollo de una lista de indicadores posibles. Habitualmente hay varios indicadores posibles para medir el alcance del objetivo inmediato, pero algunos son ms adecuados y tiles que otros. Para la seleccin, es importante no quedarse solamente con los primeros indicadores que vienen a la mente. Una estrategia mejor es construir una lista de indicadores que pueden ser evaluados de acuerdo con criterios especificados. Para crear la lista de indicadores posibles es posible emplear las siguientes fuentes: Tormenta de ideas con el equipo de formulacin Consultas con expertos en las reas tcnicas respectivas Experiencia de otras unidades o proyectos en reas similares La lista de indicadores posibles incluida en esta Gua.
La clave para crear una lista inicial til de indicadores de logro es que sta sea inclusiva. Es decir, es preciso contemplar el resultado esperado en todos sus aspectos y desde todas las perspectivas posibles. Debe dejarse espacio suficiente para la creatividad y el libre flujo de ideas. 4. Anlisis de los posibles indicadores de acuerdo con una lista de criterios determinados, utilizando las reglas SMART y dando preferencias a los indicadores directos y cuantitativos. El costo y la oportunidad de conseguir la informacin necesaria, incluyendo los datos para la lnea de base, deben formar parte de esas consideraciones. El resultado del proceso debe ser un conjunto ptimo de indicadores que satisfaga la necesidad de informacin adecuada a un costo razonable. Es importante ser selectivo, dados los costos asociados con los procesos de recoleccin y anlisis de informacin. Aunque no existe una cantidad correcta de indicadores, parece necesario limitar su nmero. Pero al mismo tiempo es crucial proporcionar una visin cabal de las complejidades del propio proyecto, incluyendo todos sus
13
Guas de DED 1
Indicadores de logro
componentes y propsitos. En otras palabras, hay que alcanzar un equilibrio entre el costo y la necesidad de cubrir todas las dimensiones del proyecto. Es importante evitar superposiciones y duplicacin de indicadores que intentan medir el mismo fenmeno. Como se mencionaba ms arriba, la seleccin de indicadores es una parte integral del diseo del proyecto, acompaando la definicin de los objetivos inmediatos. La siguiente lista de comprobacin puede ser til para la verificacin de la calidad del diseo del proyecto en lo que concierne a los indicadores de logro. SNo Se han identificado indicadores para todos los objetivos inmediatos Todos los indicadores identificados son SMART Se ha definido una medio de verificacin para cada indicador Ninguno de los indicadores puede ser considerado como un producto La relacin entre los indicadores y los objetivos es lo suficientemente directa y clara SNo Todos los indicadores estn vinculados a un objetivo inmediato Todos los indicadores identificados son verificables Los indicadores son presentados como medidas neutras Ninguno de los indicadores puede ser considerado como una actividad Es posible conseguir la informacin necesaria para los indicadores a un costo razonable
R R R R R
R R R R R
R R R R R
R R R R R
Si los indicadores no son especficos, o si las metas y medios de verificacin no pueden ser definidas por falta de informacin pertinente, la seccin de indicadores del documento de proyecto debe incluir un prrafo explicando esta situacin, como por ejemplo: Estos indicadores sugeridos sern refinados una vez que el proyecto haya comenzado y que la informacin se encuentre disponible. La definicin de las metas y las medios de verificacin ser realizada como una de las primeras actividades / durante la reunin inicial de planificacin, etc.
Una vez incluidos en el documento de proyecto, los indicadores pasan a formar parte del contrato de implementacin implcito. Sin embargo, la falta de informacin de base en el momento del diseo hace que, muy frecuentemente, sea necesario revisar los indicadores cuando los datos se encuentran disponibles. Existe una relativa flexibilidad con respecto a la posible revisin de indicadores, metas y medios de verificacin, aunque cada propuesta de cambio debe ser explicada suficientemente (generalmente como anexo a los informes tcnicos de progreso), sealando las consecuencias sobre la ejecucin y sobre la posibilidad de alcanzar los objetivos inmediatos del programa. Esto es vlido para todos los niveles de gestin desde las agencias implementadoras en el caso de Programas de accin hasta IPEC en el caso de PDD, PP o proyectos. En sntesis, la revisin puede significar: Un cambio en los indicadores producto de la existencia de informacin nueva acerca de la manera en que es posible verificar el cumplimiento de los objetivos inmediatos. Es de suma importancia explicar qu significa el cambio en trminos de la situacin de llegada prevista.
14
Guas de DED 1
Indicadores de logro
Es tambin esencial analizar si la informacin necesaria para el indicador se encuentra disponible, incluyendo informacin de base. Un cambio en las metas. Una modificacin de las metas finales implica una alteracin de los objetivos inmediatos. La revisin de las metas intermedias, en cambio, afecta el proceso de implementacin. En cualquier caso, siempre es necesario justificar suficientemente las razones de los cambios. Un cambio en los medios de verificacin. Esto puede producirse por la dificultad en conseguir los datos o porque nuevas fuentes de informacin o una metodologa ms precisa aumenta la fiabilidad. Es muy importante, nuevamente, asegurarse de que toda la informacin necesaria es accesible.
Durante la implementacin, los indicadores pueden ser utilizados como una herramienta de monitoreo del proyecto.4 Esta actividad controla el empleo de recursos, la realizacin de las actividades y de los productos. Dado que la misin de un proyecto es alcanzar una situacin mejorada, el monitoreo del proyecto debe tambin observar el progreso hacia el alcance de los objetivos inmediatos. El monitoreo de la evolucin de los indicadores puede servir, en la prctica, como un sistema de alerta temprana. La identificacin de metas intermedias, tal como se afirmaba en la seccin 1.5, puede ser til con este fin. Los indicadores pasan a formar parte, entonces, de un plan de monitoreo.5 Un plan de monitoreo debe incluir, por lo menos, las siguientes herramientas: Un calendario de actividades, incluyendo fechas en las que los productos deben estar listos (plan de trabajo del proyecto.) Una lista de factores clave, externos e internos al proyecto, que pueden afectar la implementacin (supuestos); aqu es posible incluir indicadores de contexto. Una tabla con indicadores y medios de verificacin como la que se incluye en el anexo o en el recuadro 5. Una tabla con indicadores y metas como la que se incluye en el recuadro 6.
El anlisis de la evolucin de los indicadores es tambin parte de los requisitos de los informes de progreso en las actividades financiadas por IPEC. Un ejemplo se incluye en el recuadro 8. En el caso de los informes de avance de los Programas de Accin, las consideraciones sobre los indicadores deben ser incluidas en la seccin Progreso hacia la consecucin de los objetivos. En trminos generales, las matrices que incluyen indicadores pueden ser presentadas como anexos en los Informes de Progreso de Programas-Pas o en los Informes Anuales de Progreso de Proyectos.
4 El monitoreo de proyecto (o de programa) se refiere a la supervisin continua y el seguimiento de la implementacin, realizado como parte de los procesos de gestin. Es importante no confundir este concepto con el de monitoreo en el lugar de trabajo, o monitoreo de trabajo infantil, o cualquier otra actividad que pretenda verificar la existencia de nios y nias trabajando en reas o empresas especficas. Se recomienda emplear esta terminologa de manera consistente. 5 En estos momentos se trabaja en la preparacin de un documento de guas para la preparacin de planes de monitoreo.
15
Guas de DED 1
Indicadores de logro
La evaluacin comienza con una valoracin del alcance de los objetivos inmediatos (xito del proyecto), observando la evolucin y los valores alcanzados por los indicadores de logro. Posteriormente explica las razones del xito o el fracaso. Los indicadores son, por lo tanto, una pieza fundamental de cualquier evaluacin. La metodologa de la OIT para la evaluacin de programas de cooperacin tcnica define varios propsitos (vase el recuadro 9.) La utilidad y calidad de los indicadores identificados en la fase de formulacin sern valoradas como parte de la validez del diseo. Los evaluadores determinarn entonces si la relacin entre indicadores y objetivos es pertinente y especfica y si han sido empleados durante la gestin del proyecto. Los indicadores sern tambin esenciales para evaluar la eficacia, ya que este elemento del diseo (incluyendo las metas) determina los criterios de xito o logro. El equipo de evaluacin podr preparar indicadores especficos adicionales, particularmente en estudios ex post o en evaluaciones de impacto. Generalmente, este proceso ser realizado en colaboracin y con la participacin activa de los gestores del proyecto. Algunos de estos indicadores pueden ser: Indicadores de eficiencia, vinculando costos o recursos consumidos con unidades de producto (por ejemplo, costo por persona capacitada, nmero de horas por persona capacitada.) Recuadro 8: Tabla incluida en informes de progreso para el Departamento de Trabajo de EEUU (con ejemplo)
Objetivo de desarrollo (Contribucin a la eliminacin del trabajo infantil mediante el fortalecimiento institucional) Objetivo inmediato 1: Al finalizar el proyecto, la capacidad del gobierno para enfrentar el problema del trabajo infantil habr sido fortalecida a travs del desarrollo de planes nacionales y la revisin de la legislacin de acuerdo con estndares internacionales. Indicador (es): Iniciativas del gobierno en el marco del plan nacional de accin Metas: 3 iniciativas significativas comenzadas antes de la finalizacin del proyecto Metas: Progreso hacia el alcance de la meta Progreso hacia el alcance de la meta
Indicador (es):
Indicadores de efectividad, vinculando costos o recursos consumidos con unidades de objetivos (por ejemplo, costo por nio / a retirado / a del trabajo.) Indicadores de impacto, lgicamente relacionados con el objetivo de desarrollo del proyecto, con informacin obtenida a travs del SIMPOC o de evaluaciones rpidas (por ejemplo, porcentaje de menores en la fuerza de trabajo del rea Z.) Indicadores de sostenibilidad, tiles para determinar la probabilidad de duracin de los beneficios generados por el programa (por ejemplo, recursos destinados a programas de lucha contra el trabajo infantil en presupuestos de determinadas instituciones.)
16
Guas de DED 1
Indicadores de logro
Estos son slo algunos ejemplos de indicadores que pueden ser empleados en una evaluacin, sea realizada por consultores externos o por personal del programa (auto-evaluacin.) Una gestin eficiente de proyectos ser capaz de proveer toda la informacin necesaria a tiempo para que la evaluacin pueda ser realizadas sin problemas.
17
Guas de DED 1
Indicadores de logro
La mayora de los indicadores incluidos en la tabla son cuantitativos. Muchos de ellos pueden ser transformados en indicadores cualitativos. Esta operacin es muchas veces necesaria, especialmente para objetivos vinculados con el desarrollo institucional o la sensibilizacin. Es importante recordar, sin embargo, que incluso cuando los menores son alcanzados de manera indirecta, los proyectos y programas deben reportar el nmero de beneficiarios (indirectos.)
18
Guas de DED 1
Indicadores de logro
La tabla ser revisada y actualizada de manera continua para asegurar que la experiencia acumulada por IPEC se recopila y se transmite dentro y fuera de la organizacin. La inclusin de nuevas categoras de objetivos, como trabajo en redes o integracin / replicacin est prevista. La revisin de la metodologa de evaluacin rpida y otros ejercicios de obtencin de informacin proveer tambin insumos para futuras versiones de la tabla. Es importante, por lo tanto, que todo aquel que utilice esta gua asuma una actitud activa para proveer al equipo de evaluacin de IPEC las informaciones y sugerencias provenientes de su experiencia.
19
Guas de DED 1
Indicadores de logro
Categoras de objetivos Retirada de menores del trabajo y prevencin En la mayora de las intervenciones de IPEC, en todos los niveles, es posible encontrar objetivos inmediatos vinculados con la retirada de nios y nias del trabajo (o la prevencin), ya que esta es la razn de ser del programa. Muchos de los donantes de IPEC deben informar regularmente a los mecanismos nacionales de control sobre el nmero de menores que se benefician de su contribucin. Es muy importante, por lo tanto, usar indicadores que pueden ser agregados de un nivel al siguiente (de un programa de accin a un programa pas, y de los programas pas a IPEC como un todo.)
Ejemplos de indicadores Nmero de menores trabajadores retirados del trabajo (en el sector o el rea)
Medios de verificacin posibles Sistemas de inspeccin nacionales o locales Sistema de monitoreo del proyecto Sistema de monitoreo del proyecto
Comentarios
Necesario in programas de duracin determinada, programas pas y proyectos. til tambin para PA con un componente de accin directa. Indicador para intervenciones que no slo promueven el retiro de menores del trabajo sino que proporcionan educacin, salud o recreacin a los nios y nios. Esto se aplica a prcticamente todos los programas de IPEC. Ntese que el indicador incluye a menores retirados y beneficiados con servicios, y no a aquellos que slo cumplen una de estas condiciones.
Nmero de menores trabajadores retirados del trabajo (en el sector o el rea) y rehabilitados / beneficiados con servicios de proteccin social / integrados en la educacin formal o no formal
Sistemas de inspeccin nacionales o locales Sistema de monitoreo del proyecto Sistemas de inspeccin nacionales o locales Sistema de monitoreo del proyecto Sistemas de inspeccin nacionales o locales Sistema de monitoreo del proyecto
Puede complementar los indicadores previos en PDD, PP o proyectos localizados en un sector o rea especfica. Este indicador es generalmente ms til para intervenciones de nivel superior. Puede ser una alternativa para los primeros indicadores en PDD, PP o proyectos sobre las peores formas de trabajo infantil en sectores o reas especficos. Puede tambin ser empleado en PA con un componente de accin directa. Alternativa al tercer indicador (ms arriba) en PDD, PP o proyectos sobre las peores formas de trabajo infantil en sectores o reas especficos
Nmero de menores trabajando en condiciones peligrosas (en el sector o el rea) retirados del trabajo (y rehabilitados / beneficiados con medidas de proteccin social) Porcentaje de menores trabajando en condiciones peligrosas sobre el total de la fuerza de trabajo (en el sector o rea)
20
Guas de DED 1 Categoras de objetivos Retirada de menores del trabajo y prevencin (cont.) Ejemplos de indicadores Nmero de menores cuyas condiciones de trabajo han mejorado (duracin de jornada, tipo de trabajo, etc.) Medios de verificacin posibles Sistemas de inspeccin nacionales o locales Sistema de monitoreo del proyecto
Nmero de menores en riesgo (segn lnea de base) participando en actividades del proyecto que no han comenzado a trabajar que no han sido vctimas de trfico
Nmero de menores en riesgo (segn lnea de base) que no participan en las actividades del proyecto y que han comenzado a trabajar Porcentaje de familias participantes que se abstienen de... enviar sus hijos / as a trabajar traficar con sus hijos / as
Este indicador puede complementar los anteriores para neutralizar factores externos. Requiere un esfuerzo adicional de monitoreo.
21
Guas de DED 1 Categoras de objetivos Ejemplos de indicadores Porcentaje de empresas libres de trabajo infantil (en sector / rea) Medios de verificacin posibles Sistemas de inspeccin nacionales o locales
Provisin de medidas de proteccin social General IPEC promueve el establecimiento de diversos esquemas para garantizar la asistencia social a los nios y nias, cubriendo varios aspectos (educacin, salud, recreacin, ingresos, etc.) Tambin es importante informar sobre el nmero total de nios y nias que recibe este tipo de apoyo. Provisin de medidas de proteccin social Educacin y entrenamiento
Nmero de menores en la calle / traficados reunidos con sus familias o ubicados en sistemas de proteccin
Indicador que refleja la cobertura del proyecto. Muy til para PA o proyectos de educacin. En general, debe ser comparado con el grupo meta (en este caso, podra ser reformulado como porcentaje del grupo meta matriculado en educacin formal gracias al apoyo del proyecto.
22
Guas de DED 1 Categoras de objetivos Ejemplos de indicadores Nmero de nios matriculados en cursos de educacin no formal / actividades promovidas por el proyecto Medios de verificacin posibles Registros de cursos de educacin no formal y listados de participacin Sistema de monitoreo del proyecto Registros y listas de participantes de cursos Sistema de monitoreo del proyecto Estadsticas producidas por autoridades nacionales o locales Sistema de monitoreo del proyecto (requiere un esfuerzo adicional de recoleccin de datos) Sistema de localizacin Registros escolares o de institucin de educacin no formal Registros escolares Consejo escolar local Registros de escuelas Sistema de localizacin Sistema de localizacin Sistema de monitoreo del proyecto (con opiniones de maestros)
Otro indicador de cobertura. Muy til para PA. En general, debe ser comparado con el grupo meta, en cuyo caso puede ser reformulado como el ejemplo anterior. Este indicador puede ser til si existe buena informacin de base. La meta debera aproximarse al 100% de los nios y nias.
Nmero de menores beneficiados por el proyecto capaces de leer, escribir y realizar tareas de aritmtica bsica
Este indicador es til para objetivos de nivel superior (el proyecto intentara mejorar la calidad de la enseanza y no slo matricular a los menores en la escuela.) Indicador que refleja los esfuerzos del proyecto para crear una escuela ms adecuada a los grupos meta de IPEC. Este indicador permite valorar los efectos del proyecto en el desempeo educativo de los beneficiarios. Otro indicador de desempeo escolar, basado en opiniones de maestros. Podra ser reformulado para incluir las calificaciones conseguidas por los nios y nias.
Tasas de abandono (en escuelas, comunidades, grupos meta, etc.) Porcentaje de menores beneficiados que completan el ciclo educativo Porcentaje de beneficiarios que, de acuerdo con opiniones de sus maestros, han mejorado su rendimiento escolar
23
Guas de DED 1 Categoras de objetivos Ejemplos de indicadores El currculo de educacin formal / no formal (en sector, rea, pas) se adapta mejor a las necesidades de los-(ex) menores trabajadores Medios de verificacin posibles Documentos oficiales de autoridades educativas, incluyendo el currculo
Provisin de medidas de proteccin social Salud, seguridad en el trabajo, nutricin, recreacin, asesoramiento
Nmero de nios / as que reciben servicios mdicos / chequeos mdicos peridicos / chequeos dentales / servicios de nutricin / asesoramiento, etc. a travs del proyecto Nmero de nios / as que participan en actividades recreativas o culturales establecidas por el proyecto Incidencia de [enfermedad o grupo de enfermedades especficas] en nios /as beneficiarios del proyecto
Registro del servicio mdico local Sistema de monitoreo del proyecto Sistema de monitoreo del proyecto Registro del servicio mdico local Sistema de monitoreo del proyecto Sistema de localizacin Registro del servicio mdico local Sistema de monitoreo del proyecto Sistema de localizacin
Indicador que refleja la cobertura de la asistencia proporcionada. Es fcil de monitorear, aunque refleja ms el esfuerzo del proyecto que sus resultados (por lo que debe ser considerado como un proxy.) Igual que el anterior.
Este indicador debe ser tan preciso como sea posible. Una buena lnea de base es esencial.
Una variacin del indicador anterior, especialmente til para trabajo infantil. Puede ser reformulada como nmero de nios /as que sufren enfermedades vinculadas con su trabajo.
24
Guas de DED 1 Categoras de objetivos Ejemplos de indicadores Nmero de accidentes laborales sufridos por nios / as del grupo meta (en sector / rea) Nmero de familias que se benefician de micro-crditos / actividades de generacin de ingresos (individualmente o a travs de esquemas cooperativos) Medios de verificacin posibles Registro del servicio mdico local Lista de clientes del servicio financiero Sistema de monitoreo del proyecto Sistema de localizacin Listas de participacin en sesiones de entrenamiento
Nmero de padres / adolescentes que reciben entrenamiento especfico para conseguir empleo o mejorar el ingreso familiar (especificar tipo de entrenamiento si es posible) Nmero de grupos de crdito / ahorro formados en la comunidad
El entrenamiento es una estrategia habitual de generacin de ingresos, por lo que este indicador se encuentra frecuentemente. En realidad se trata de un proxy del objetivo de mejora de ingresos familiares. Este indicador es til en todos los niveles, especialmente para PA. Puede incluir un elemento cualitativo sobre el estado de cada grupo en trminos de cobertura y situacin financiera y funcional, por ejemplo. De mayor nivel que indicadores anteriores. Medicin directa de los efectos del programa en los ingresos de las familias. Puede ser difcil conseguir la informacin necesaria. Si el grupo meta del proyecto es numeroso, es conveniente utilizar muestreo al azar. Este indicador puede ser ms interesante si se aade una valoracin cualitativa de las empresas creadas, para analizar su sostenibilidad. Este indicador vincula a los beneficiarios del sistema de crditos con el objetivo superior de eliminacin del trabajo infantil.
Sistema de monitoreo del proyecto Cartera de clientes del fondo rotatorio Sistema de monitoreo del proyecto Sistema de localizacin
Porcentaje de familias que toman crdito y retiran todos sus hijos del trabajo
25
Guas de DED 1 Categoras de objetivos Desarrollo institucional y generacin de capacidades General La mayora de las intervenciones de IPEC, en todos los niveles, incluyen un componente de fortalecimiento institucional o desarrollo de capacidades para garantizar la sostenibilidad. Las instituciones y personas son destinatarios directos de los recursos, que indirectamente benefician a nios y familias. Desarrollo institucional y generacin de capacidades Fortalecimiento de organizaciones gubernamentales En esta seccin, y en las siguientes, es muy importante recordar que por causa de la generacin de capacidades las instituciones deben ser capaces de realizar tareas directamente relacionadas con la eliminacin del trabajo infantil. Los objetivos e indicadores idealmente reflejarn lo que las instituciones sern capaces de hacer despus de la intervencin de IPEC. Algunos de los ejemplos sugeridos (por ejemplo, nmero de personas formadas) son indicadores de desempeo y slo pueden servir como proxies Ejemplos de indicadores Porcentaje de personas entrenadas en posicin de utilizar los conocimientos adquiridos Frecuencia de las reuniones del Comit Nacional Medios de verificacin posibles Estudios de seguimiento de los participantes Encuestas institucionales Actas de reuniones del Comit Nacional
Este indicador puede ser til en proyectos o PP (en el caso de instituciones de mbito nacional) o en PA (para instituciones locales.) La integracin del trabajo infantil es considerad, en este caso, como una consecuencia de los esfuerzos de generacin de capacidades. El mismo indicador es incluido en la seccin de objetivos de sensibilizacin, sealando que la integracin puede tambin ser un efecto de la conciencia adquirida.
Nmero de iniciativas pblicas para combatir el trabajo infantil influenciadas por el proyecto (especificar instituciones)
Este indicador requiere una definicin clara del concepto iniciativa, pero es til como un reflejo de la capacidad de actuar. No debe incluir actividades financiadas p promovidas por IPEC dentro del proyecto o PA.
26
Guas de DED 1 Categoras de objetivos Ejemplos de indicadores Porcentaje de funcionarios formados capaces de emplear los conocimientos adquiridos de manera sistemtica Medios de verificacin posibles Estudios de seguimiento de los participantes Organigramas y declaraciones de misin de las instituciones Listas de participacin en cursos de entrenamiento
Nmero de funcionarios formados en instituciones clave (especificar si es posible) Nmero de funcionarios clave de instituciones relevantes formados en temas relacionados con el trabajo infantil (especificar) El trabajo infantil es incluido en planes de accin y programas de agentes sociales relevantes (sindicatos, empleadores) y ONG (especificar) Nmero de actividades especficas sobre trabajo infantil organizadas por los agentes sociales (especificar organizaciones)
Indicador proxy til para determinar la capacidad de instituciones para enfrentar el trabajo infantil. Puede reemplazase los funcionarios por las instituciones. Este indicador complementa al anterior especificando los contenidos de la formacin. Se puede convertir en un indicador cualitativo si se incluyen consideraciones sobre la influencia de la formacin sobre las actitudes de las personas entrenadas. Similar al primer indicador de la seccin precedente. Puede ser empleado si la integracin es un efecto de los esfuerzos de construccin de capacidades. En la seccin de sensibilizacin se establece otra posibilidad de uso para este indicador. Este indicador no debe incluir las actividades financiadas o promovidas por IPEC como parte del proyecto o PA. Un anlisis cualitativo de cada actividad puede ser necesario para asegurarse de que es una consecuencia de la mayor capacidad creada por la intervencin. Proxy til para determinar la capacidad de los agentes sociales y las ONG para combatir el trabajo infantil. Pueden reemplazase las personas por instituciones.
Listas de participacin en cursos de entrenamiento Sistema de monitoreo del proyecto Declaraciones, planes de accin y programas de agentes sociales y ONG
Nmero de personas formadas en agentes sociales relevantes y ONG (especificar institucin y tipo de formacin, si es posible)
27
Guas de DED 1 Categoras de objetivos Ejemplos de indicadores Porcentaje de personas formadas capaces de utilizar las capacidades adquiridas de manera sistemtica. Convenios fundamentales sobre trabajo infantil de la OIT ratificados Medios de verificacin posibles Organigramas y declaraciones de misin de las organizaciones Registro de ratificaciones de la OIT
Desarrollo institucional y generacin de capacidades Fortalecimiento del marco legislativo y aplicacin de las leyes
Desarrollo institucional y generacin de capacidades Fortalecimiento del marco legislativo y aplicacin de las leyes (cont.) Desarrollo institucional y generacin de capacidades Sistemas de monitoreo y verificacin
Planes nacionales / municipales / locales adoptados gracias al apoyo de IPEC Nmero de nuevos instrumentos legislativos adecuados a los Convenios sobre trabajo infantil adoptados (y / o modificados) en el mbito nacional / local Nmero de casos llevados a proceso y atendidos mediante servicios de rehabilitacin Nmero de visitas realizadas por inspectores comunitarios / de trabajo para monitorear la incidencia de trabajo infantil
Documentos oficiales de autoridades locales / municipales / nacionales Compendio legislativo nacional / local
Registros policiales
28
Guas de DED 1 Categoras de objetivos Ejemplos de indicadores Porcentaje de empresas / lugares de trabajo inspeccionados al menos dos veces por ao (sobre el total de en el sector / rea) Nmero de grupos comunitarios / de padres formados para monitorear la incidencia de trabajo infantil Nmero de zonas / empresas / sectores que son calificador por la inspeccin de trabajo como libres de trabajo infantil Nmero de productores / exportadores que participan en el programa de monitoreo de trabajo infantil Nmero de inspectores formados en trabajo infantil en mbito nacional / local Nmero de familias / menores / padres alcanzados por las actividades de sensibilizacin (en una zona especfica) Medios de verificacin posibles Sistemas de inspeccin nacionales o locales
Sistemas de inspeccin nacionales o locales Listas de participacin en cursos de entrenamiento Sistema de monitoreo del proyecto con informacin de campaas Sistema de monitoreo del proyecto con informacin de campaas
Sensibilizacin y movilizacin social Las campaas y la diseminacin del conocimiento acumulado sobre trabajo infantil es otro de los componentes principales de las intervenciones de IPEC. Esta es otra manera de beneficiar indirectamente a los grupos meta del programa, sobre todo los menores trabajadores. Es importante considerar que el objetivo de la sensibilizacin es promover un cambio en los comportamientos. Los indicadores referidos a personas alcanzadas por campaas, por lo tanto, slo pueden servir como proxies para estos objetivos.
Nmero de familias / menores / padres que participan en las actividades de sensibilizacin (en una zona especfica)
29
Guas de DED 1 Categoras de objetivos Ejemplos de indicadores Porcentaje de padres / familias en la comunidad con una percepcin positiva acerca de la necesidad de eliminar el trabajo infantil Medios de verificacin posibles Encuestas de opinin
Nmero de familias (en rea / comunidad especfica) que solicitan asistencia para retirar a sus nios / as del trabajo (y matricularlos en la escuela) El trabajo infantil es incluido en las agendas polticas de instituciones relevantes (especificar)
El trabajo infantil es incluido en planes de accin y programas de agentes sociales relevantes (sindicatos, empleadores) y ONG (especificar) Presupuesto dedicado a la lucha contra el trabajo infantil e instituciones relevantes (especificar)
Declaraciones, planes de accin y programas de agentes sociales Presupuestos anuales de instituciones relevantes
30
Guas de DED 1 Categoras de objetivos Ejemplos de indicadores Una red de organizaciones relevantes (especificar) operativa Medios de verificacin posibles Sistema de monitoreo del proyecto Documentos oficiales de organizaciones de la red
Nmero de instituciones relevantes que participan en la red Organizacin de la comunidad en torno de la eliminacin del trabajo infantil Nmero de acciones comunes / concertadas de organizaciones pblicas y privadas en los mbitos local, provincial, nacional y subregional Nmero de empleadores que adoptan una poltica en contra del trabajo infantil (en sector / rea) Nmero de empleadores que adoptan una poltica de reduccin de riesgos en el proceso de produccin (en sector / rea) Nmero de artculos de prensa relevantes
Documentos oficiales producidos por la red / por instituciones clave Sistema de monitoreo del proyecto Documentos de organizaciones clave (especificar) Sistema de monitoreo del proyecto Sistema de monitoreo del proyecto Principales peridicos y revistas nacionales / locales
31
Guas de DED 1 Categoras de objetivos Ejemplos de indicadores Nmero de reportajes emitidos en televisin / radio Integracin de mdulos sobre trabajo infantil en encuestas estadsticas nacionales Medios de verificacin posibles Principales cadenas nacionales / locales de radio y TV Oficina de Estadsticas
Produccin, diseminacin y uso de materiales sobre trabajo infantil IPEC genera informacin fiable y actualizada sobre trabajo infantil a travs de diversos programas, especialmente SIMPOC. Las preguntas clave para definir indicadores de este tipo de objetivos son para qu se produce la informacin? Cmo ser utilizada?
Nmero de instituciones relevantes pblicas y privadas que utilizan informacin sobre trabajo infantil generada por el programa
Documentos oficiales o no oficiales de instituciones clave Referencias en documentos de proyecto ajenos a IPEC Sistema de monitoreo del proyecto
Nmero de solicitudes de informacin de ONG / organizaciones de gobierno / sindicatos / organizaciones de empleadores / periodistas / otros) Uso de informacin sobre trabajo infantil en publicaciones internacionales y artculos cientficos
Indicador cuantitativo que refleja la demanda de informacin (hacia IPEC o hacia sus asociados) sobre trabajo infantil. Es un proxy del objetivo uso de informacin sobre trabajo infantil Este indicador es mejor que el anterior porque refleja el uso de la informacin, pero es mucho ms difcil de monitorear ya que requiere la revisin de mltiples fuentes.
32
Guas de DED 1
Indicadores de logro
- BRAHAM, Mark and Matthew Braham (1999): Indicators of child labour. A report to the International Programme on the Elimination of Child Labour of the International Labour Organization, Geneva; mimeo; IPEC-ILO; Ginebra. - HOPKINS, Michael (1999): A synthesis of methodological practice in seven country studies and first steps toward a methodology to assess the measurement and impacts of IPEC country programmes; mimeo; IPEC-ILO; Ginebra (especialmente el captulo 4: Toward an improved methodology using a set of indicators for M&E). - IPEC-ILO (2001): Methodological guide for the development of national Time Bound Programmes; mimeo; Ginebra (especiallmente los captulos 2, Situation analysis and indicators, y 5, Monitoring and evaluation). - JENSEN, Robert (2000): Development of indicators on child labour. A report to the International Program on the Elimination of Child Labor at the International Labor Organization; mimeo, IPEC-ILO; Ginebra.
- OIT: Pautas para integrar las cuestiones relacionadas con el gnero de las personas en el diseo, seguimiento y evaluacin de los programas y proyectos de la OIT (especialmente la seccin 2). Internet: http://www.ilo.org/public/spanish/bureau/program/eval/guides/gender/index.htm - OIT: Gua para la preparacin de un esquema preliminar de proyecto para el financiamiento multibilateral. Internet: http://www.ilo.org/public/spanish/bureau/program/eval/guides/sprout/index.htm - OIT (1998): Design, monitoring and evaluation of technical cooperation projects and programmes: a training manual; Organizacin Internacional del Trabajo; Tercera Edicin; Ginebra.
- Del manual Programme, Monitoring, Evaluation and Operations Manual for IPEC Field Offices (en preparacin): A guide to action programme design; Work plans. Informe de Progreso de Programa Nacional
33
Guas de DED 1 Informe Anual de Progreso de Proyecto Project document preparation for US-DOL projects and programmes Progress reporting guidelines for US-funded IPEC projects / programs
Indicadores de logro
34
DED Guidelines 1
DRAFT
Indicators of achievement
O/1 1 (Componente)
O/1 2 (Componente)
O/1 3 (Componente)
14.04.2003
35